概率论与数理统计 Probability and Statistics

南方科技大学计算机科学与工程系 11812804 董正

概率论与数理统计 Probability and Statistics前言 Preface第一章概率1.2 样本空间1.2.1 试验1.2.2 样本空间 $\Omega$ 1.2.3 几种特殊事件1.2.4 事件之间的关系及运算1.2.4.1 事件之间的关系1.2.4.2 运算律1.3 概率测度1.3.1 频率1.3.2 概率1.4 概率计算1.4.1 古典概型1.4.2 几何概型1.4.3 习题1.5 条件概率1.6 独立性第二章随机变量2.1 离散随机变量2.1.1 概率质量函数 PMF2.1.2 累积分布函数 CDF2.1.3 离散随机变量的分布2.2 连续随机变量2.2.1 概率密度函数 PDF2.2.2 连续随机变量的分布2.3 随机变量的函数2.3.1 离散随机变量函数的频率函数2.3.2 连续型随机变量函数的分布2.4 第二章习题第三章联合分布3.1 联合累积分布函数3.2 二维离散型随机变量3.2.1 联合频率函数3.2.2 边际分布3.3 二维连续型随机变量3.3.1 联合概率密度函数3.3.2 二维连续变量的边际密度函数3.3.3 二维正态分布3.4 独立随机变量3.5 条件分布3.5.1 条件频率函数3.5.2 条件概率密度3.5.3 例题3.6 联合分布随机变量函数3.6.1 连续型 $Z=X+Y$ 3.6.2 离散型 $Z=X+Y$ 3.6.3 $Z=\frac XY$ 的分布3.6.4 两个随机变量变换的分布3.6.5 随机变量的其他函数3.7 极值和顺序统计量3.7.1 极值 $\max(X, Y)$ 和 $\min(X, Y)$ 的分布3.7.2 顺序统计量 $X_{(k)}$ 的分布3.8 第三章习题第四章随机变量的数字特征4.1 随机变量的期望4.1.1 离散型随机变量的期望4.1.2 连续型随机变量的期望4.1.3 随机变量函数的期望4.1.4 数学期望的基本性质4.2 方差与标准差4.3 协方差与相关系数4.3.1 协方差4.3.2 相关系数4.3.3 矩4.3.4 协方差矩阵4.4 条件期望4.5 第四章习题第五章大数定律和中心极限定理5.1 大数定律5.1.1 背景5.1.2 大数定律5.2 中心极限定理5.2.1 背景5.2.2 中心极限定理5.3 第五章习题第六章数理统计的基本概念与抽样分布6.2 数理统计的基本概念

前言 Preface

本笔记是把我曾经手写的笔记敲成电子版

第一章概率

1.2 样本空间

1.2.1 试验

试验的概念
- 科学实验
- 对某事物的某一特征进行观察
随机试验的特征
1. 试验可以在相同的条件下重复进行
2. 试验的结果可能不止一个，但试验前知道全部可能结果
3. 试验的结果无法预知
$E$ 表示
结果的分类
1. $\omega$
  又称样本点、基本事件
  例：掷骰子掷出 6 点
2. 复合结果（可分解）
  称为随机事件，简称事件
  - 基本事件的复合
  - 样本空间的子集
  例：掷出 3 以上的点数

$\Omega$

试验的全部样本点构成的集合
例：掷一枚骰子，观察出现的点数
$\Omega=\{1, 2, 3, 4, 5, 6\}$

1.2.3 几种特殊事件

基本事件
$\{\omega \}$
必然事件
每次试验都发生的事件
$\empty$
$\empty\subset\Omega$
事件域
$\mathcal A=\{A|A\subset\Omega, A 是事件\}$

1.2.4 事件之间的关系及运算

1.2.4.1 事件之间的关系

$A\subset B$ $A$ $B$
$A$ $B$ 发生
$A=B\equiv A\subset B\land B\subset A$
$A\cup B=\{\omega|\omega\in A\lor \omega\in B \}$
$A$ $B$ $A$ $B$ 的和事件
$A\cap B=\{\omega|\omega\in A\land \omega\in B \}$
$A$ $B$ $A$ $B$ $AB$
$\bigcap_{i=1}^nA_i=\{\omega|\omega\in A_i, i=1, 2,\dots, n \}$ $n$ $\infin$ )
$A\backslash B=\{\omega|\omega\in A\land \omega\notin B \}$
$A$ $B$ $A,B$ 的差
$A\supset B$ $A\backslash B$ 为真差
$A\backslash B$ $A-B$ (存疑)
$A\cap B=\empty$ $A,B$ 互斥（互不相容）
$A,B$ 不可同时发生
$A\cup B=\Omega$ $A\cap B=\empty$ $A, B$ 互为对立事件（逆事件）
$A=\Omega\backslash B=\overline B=B^c$

1.2.4.2 运算律

交换律
$A\cup B=B\cup A$
$A\cap B=B\cap A$
结合律
$(A\cup B)\cup C=A\cup(B\cup C)$
$(A\cap B)\cap C=A\cap(B\cap C)$
分配律
$A\cup (B\cap C)=(A\cup B)\cap(A\cup C)$
$A\cap (B\cup C)=(A\cap B)\cup(A\cap C)$
$A\cap(B\cap C)=AB\cap AC=ABC$
摩根律
$\overline{A\cap B}=\overline A\cup\overline B$
$\overline{A\cup B}=\overline A\cap\overline B$
$P(\overline A\cup\overline B)=1-P(\overline{\overline A\cup\overline B})=1-P(A\cap B)$

1.3 概率测度

1.3.1 频率

定义
$A$ $n$ 次试验
$n_A=n$ $A$ 发生的次数
$f_n(A)=\frac{n_A}{n}$ $n_A$ $A$ $f_n(A)$ $A$ 的频率
- $n$ $n_A$ 越大
- $n_A,f_n(A)$ 的值是随机的
- $0\leqslant f_n(A)\leqslant 1$
- $f_n(\Omega)=1$
频率依概率收敛于概率
$\lim_{n\to\infin}f_n(A)=p$
有限可加性
$A_1, A_2,\dots, A_m$ 是两两不相容事件，则
$f_{n} (⋃_{i = 1}^{m} A_{i}) = \sum_{i = 1}^{m} f_{n} (A_{i})$

1.3.2 概率

概率的公理化定义 (柯尔莫哥洛夫, 1933)
$\mathcal A$ $\Omega$ $\forall A\in \mathcal A$ $\exists P(A)\in \R$ 与其对应，且满足
1. 非负性
  $P(A)\geqslant0$
2. 规范性
  $P(\Omega)=1$
3. 可列可加性
  $\{A_k\}_{k=1}^\infin$ 有
  $P (⋃_{k = 1}^{\infty} A_{k}) = \sum_{k = 1}^{\infty} P (A_{k})$
$P(A)$ $\{\Omega, A, P\}$ 为概率空间
- 以上是概率这个概念的标准定义，并不是概率的确定方法，你可以说扔硬币正反面的概率是 0.2, 0.8，确实满足定义。但是，是否存在这样的一种硬币，以及一枚标准硬币是否是这样的概率分布，并不能通过公理进行证明。古典概型、几何概型那些才是怎么计算概率究竟是几。
  https://www.zhihu.com/question/50046323
概率的性质
1. $P(\empty)=0$
  证明：
  $\because\empty=\empty\cup\empty\cup\cdots$
  $\therefore P(\empty)=P(\empty)+P(\empty)+\cdots$ (可列可加性)
  $\because P(\empty)\in\R$
  $\therefore P(\empty)=0$
2. 有限可加性
  $A_1, A_2,\dots, A_n$ 是两两不相容事件，则
  $P (⋃_{i = 1}^{n} A_{i}) = \sum_{i = 1}^{n} P (A_{i})$

$A\subset B$ 则
- $P(B\backslash A)=P(B)-P(A)$
  - $P(B)\geqslant P(A)$

证明：

$\because A\subset B$

$\therefore B=A\cup(B\backslash A)$

$P(B)=P(A)+P(B\backslash A)$

$\therefore P(B\backslash A)=P(B)-P(A), P(B)\geqslant P(A)$

$0\leqslant P(A)\leqslant1$
$P(\overline A)=1-P(A)$
$P(A)\geqslant P(AB)$
加法定律 (很重要)
$P(A\cup B)=P(A)+P(B)-P(A\cap B)$
挖补原理
$P (A_{1} \cup A_{2} \cup \dots A_{n}) = \sum_{i = 1}^{n} P (A_{i}) - \sum_{1 ⩽ i ⩽ j ⩽ n} P (A_{i} A_{j}) + \sum_{1 ⩽ i ⩽ j ⩽ k ⩽ n} P (A_{i} A_{j} A_{k}) - \dots + (- 1)^{n - 1} P (A_{1} A_{2} \dots A_{n})$
规律：加奇减偶

$0$ $120\ \mu g/m^3$ ₂ $0$ $0.304\ ppm$ $100.5\ \mu g/m^3$ ₂ $0.205\ ppm$ 以上，则认为空气有害。求空气有害的概率

几何概型

$P(A)+P(B)-P(A\cap B)$

1.4 概率计算

1.4.1 古典概型

古典概型的概念
- 特征
  - $\Omega$ $\Omega=\{\omega_1, \omega_2,\dots,\omega_n \}$
  - $P\{\omega_1\}=P\{\omega_2\}=\cdots=P\{\omega_n\}=\frac 1n$
  - 又称为等可能概型
- 概率计算
  $A=\{\omega_{i_{1}},\omega_{i_{2}},\dots,\omega_{i_{k}} \}$
  $P(A)=P\{\omega_{i_{1}}\}+P\{\omega_{i_{2}}\}+\cdots+P\{\omega_{i_{k}}\}=\frac kn$
  $P(A)=\frac{A 的有利场合数}{样本点总数}$
排列组合
- 选排列
  $A_n^k=\frac{n!}{(n-k)!}=n(n-1)\cdots(n-k+1)$
- 全排列
  $A_n^n=n!$
- 组合
  $C_n^k=\binom nk=\frac{A_n^k}{A_k^k}=\frac{n!}{k!(n-k)!}=\frac{n(n-1)\cdots(n-k+1)}{k!}$
加法原理
$n$ $m_1$ $m_2$ $n$ $m_n$ 种方法
$N=\sum_{i=1}^n m_i$
乘法原理
$n$ $m_1$ $m_2$ $n$ $m_n$ 种方法
$N=\prod_{i=1}^n m_i$
- 推广
  $n$ $r$ $i$ $n_i$ $i=1,2,\dots,r$ $\sum_{i=1}^r n_i=n$ ，那么分类方式有
  $(\binom{n}{n_{1} n_{2} \dots n_{r}}) = \frac{n!}{n_{1}! n_{2}! \dots n_{r}!} = C_{n}^{n_{1}} C_{n - n_{1}}^{n_{2}} C_{n - n_{1} - n_{2}}^{n_{3}} \dots C_{n - n_{1} - n_{2} - \dots - n_{r - 1}}^{n_{r}}$

$n$ $N$ 个不同盒，求每盒至多一球的概率
$N^n$ $N$ 种选择）
$N$ $n$ $A_N^n$
$\therefore P=\frac{A_N^n}{N^n}$

1.4.2 几何概型

随机试验
$\Omega$ 投掷一个点
样本空间
$\Omega$
事件
$A$
事件概率
$P(A)=\frac{Area(A)}{Area(\Omega)}$

则称上述试验为几何概型

$A$ $A$ 的面积有关，这体现了某种等可能性
一维或者三维的情况就是长度、体积

1.4.3 习题

$P(AB)+P(AC)-P(BC)\leqslant P(A)$
证明：
$\because P(A)\geqslant P(A\cap(B\cup C)), P(BC)\geqslant P(ABC)$
$\therefore P(A)+P(BC)\geqslant P(A\cap(B\cup C))+P(ABC)$
$P(A\cap(B\cup C))=P(AB\cup AC)=P(AB)+P(AC)-P(ABC)$
$\therefore P(A)+P(BC)\geqslant P(AB)+P(AC)-P(ABC)+P(ABC)=P(AB)+P(AC)$
$\therefore P(A)\geqslant P(AB)+P(AC)-P(BC)$
$P(AB)+P(AC)+P(BC)\geqslant P(A)+P(B)+P(C)-1$
证明：
$P(A)+P(B)+P(C)-P(AB)-P(AC)-P(BC)\leqslant 1$
$\because P(A\cup B\cup C)=P(A)+P(B)+P(C)-P(AB)-P(AC)-P(BC)+P(ABC)$
$\therefore$ $P(A\cup B\cup C)-P(ABC)\leqslant 1$

$\because P(A\cup B\cup C)\leqslant 1, P(ABC)\leqslant 1$
$\therefore P(A\cup B\cup C)-P(ABC)\leqslant 1$
$\therefore$ 原式得证
$n$ $0$ $n$ $1$ $1$ 连着的概率
$2n$ 个位置，只需要考虑 1 放在哪里，剩下的自然是 0
$\therefore$ $C_{2n}^n$ 种放法
$n-1$ 个 0，还剩一个，考虑把它插到哪里
1 0 1 0 1 0 ...
$\uparrow$ $\uparrow$
$n$ $n+1$ 种
$\therefore P=\frac{n+1}{C_{2n}^n}$
$n-1$ $k$ 次摸球时摸到黑球的概率
$A_k=\{第k次摸到黑球\}$ $\overline{A_k}=\{第k次摸到白球\}$
$\overline{A_k}$ 的情况：
$k-1$ 次摸到的都是黑球
$\therefore P(\overline{A_k})=(\frac{n-1}{n})^{k-1}\frac 1n=\frac 1n(1-\frac 1n)^{k-1}$
$\therefore P(A_k)=1-P(\overline{A_k})=1-\frac 1n(1-\frac 1n)^{k-1}$
$n$ 颗骰子，求出现点数最大为 5 的概率
$A=\{最大点数为5\}, B=\{最大点数不超过5\}, C=\{最大点数不超过4\}$
$\therefore C\subset B$ $A=B\backslash C$
$\therefore P(A)=P(B)-P(C)=(\frac 56)^n-(\frac 46)^n=\frac{5^n-4^n}{6^n}$
$n$ 个人围一圆桌坐，求甲、乙两人相邻的概率
假设甲先坐好，则乙只有两个位置可坐
$P=\frac{2}{n-1}$

1.5 条件概率

定义
$A,B$ $P(B)\neq 0$ $B$ $A$ 发生的条件概率为
$P (A | B) = \frac{P (A B)}{P (B)}$
$A|B$ 不是一个事件
性质
1. 非负性
  $\forall A,P(A|B)\geqslant 0$
2. 规范性
  $\Omega$ $P(\Omega|B)=1$
3. 可列可加性
  $\{A_k\}$ 为两两不相容的事件列，则
  $P (⋃_{i = 1}^{\infty} A_{k} | B) = \sum_{i = 1}^{\infty} P (A_{k} | B)$
4. 条件概率也满足概率的公式
  $P(A|B)=1-\overline P(A|B)$
  $P(A\cup B|C)=P(A|C)+P(B|C)-P(AB|C)$
$n$ 个事件同时发生的概率”
1. 定义
  $P(AB)=P(A|B)P(B)=P(B|A)P(A)$
2. 推广
  $P(A_1A_2\cdots A_n)>0$ ，则
  $P(A_1A_2\cdots A_n)$
  $=P(A_n|A_1A_2\cdots A_{n-1})P(A_1A_2\cdots A_{n-1})$
  $=P(A_n|A_1A_2\cdots A_{n-1})P(A_{n-1}|A_1A_2\cdots A_{n-2})P(A_1A_2\cdots A_{n-2})$
  $\cdots$
  $=\cdots P(A_2|A_1)P(A_1)$
全概率定律：求“最后结果”的概率
1. 样本空间的分划
  $\Omega$ $B_1, B_2, \dots, B_n$ 满足
  1. 两两不相容
  2. $B_1\cup B_2\cup\cdots\cup B_n=\Omega$
  $\{B_1, B_2,\dots, B_n\}$ 为样本空间的一个分划
2. 公式
  $P(A)=\sum_{i=1}^n P(A|B_i)P(B_i)$
  证明：
  $A=A\cap \Omega=AB_1\cup AB_2\cup\cdots\cup AB_n$
  $\therefore P(A)=P(AB_1)+P(AB_2)+\cdots+P(AB_n)$
  $=P(A|B_1)P(B_1)+P(A|B_2)P(B_2)+\cdots+P(A|B_n)P(B_n)$
  $=\sum_{i=1}^n P(A|B_i)P(B_i)$
- 例：10 件产品中有 3 件次品，从中不放回地取两次，求第二次取得次品的概率
  解：
  $A=\{第二次取得次品\}, B=\{第一次取得次品\}$
  全概率公式：
  $P(A)=P(A|B)P(B)+P(A|\overline B)P(\overline B)=\frac {3}{10}\times\frac 29+\frac{7}{10}\times\frac 39=0.3$
贝叶斯公式：已知“最后结果”，求“原因”的概率
$B_1, B_2,\dots, B_n$ $P(B_i)$ 为先验概率
$A$ $P(B_i|A)$
$P(B_i|A)$ $P(A|B_i)$ 为原因概率
$P (B_{i} | A) = \frac{P (A | B_{i}) P (B_{i})}{\sum_{j = 1}^{n} P (A | B_{j}) P (B_{j})} = \frac{P (A B_{i})}{P (A)}$
实际上就是条件概率的分子分母用乘法定律和全概率公式拆开
$发生A时发生B的概率=\frac{AB同时发生的概率}{发生A的概率}$
- $15\%, 80\%, 5\%$ $2\%, 1\%, 3\%$ 。现在任取一产品发现为次品，则该次品是哪个车间生产的可能性最大
  解：
  $A=\{取到次品\}$ $B=\{次品是第i个车间生产的\},i=1,2,3$
  $P(A)=\sum_{i=1}^3P(A|B_i)P(B_i)=0.0125$
  贝叶斯公式：
  $P(B_1|A)=\frac{P(A|B_1)P(B_1)}{P(A)}=\frac{0.15\times0.02}{0.125}=0.24$
  $P(B_2|A)=\frac{P(A|B_2)P(B_2)}{P(A)}=\frac{0.8\times0.01}{0.125}=0.64$
  $P(B_3|A)=\frac{P(A|B_3)P(B_3)}{P(A)}=\frac{0.05\times0.03}{0.125}=0.12$
  $\therefore$ 2 车间生产的可能性最大
- 例 2：某测谎仪，- 表示说真话，+ 表示测得说谎。T 表示人说的是真话，L 表示人在撒谎
  $P(+|L)=0.88, P(-|T)=0.86, P(T)=0.99$
  若有一人测试时显示 +，求测谎仪出错的概率
  解：
  贝叶斯公式:
  $P (T | +) = \frac{P (+ | T) P (T)}{P (+ | T) P (T) + P (+ | L) P (L)} = \frac{(1 - 0.86) \times 0.99}{(1 - 0.86) \times 0.99 + 0.88 \times (1 - 0.99)} = 0.94$

1.6 独立性

定义
$P(AB)=P(A)P(B)$ $A, B$ 相互独立
- $A, B$ $\overline A, B; A, \overline B; \overline A, \overline B$ 相互独立
- $P(A|B)=P(A)$
  $P(B|A)=P(B)$
独立和互不相容的区别
- 互不相容
  $A$ $B$ 就一定不发生，反之也是（要么就都别发生）
  $P(A|B)=\frac{P(AB)}{P(B)}=0$
- 独立
  $A$ $B$ 发不发生没有任何关系
  $P(A|B)=P(A)$
$A, B$ 不可能既独立又互不相容
三个事件的独立性
$P(ABC)=P(A)P(B)P(C)$
- $A, B, C$ $A\cup B, A\cap B, A\backslash B$ $C$ 独立
$n$ 个事件的独立性
$n$ $A_1, A_2,\dots, A_n(n\geqslant2)$ 满足
- $P(A_{i_1}, A_{i_2}, \dots, A_{i_k})=P(A_{i_1})P(A_{i_2})\cdots P(A_{i_k})$
- $1\leqslant i_1\leqslant i_2\leqslant\cdots\leqslant i_k\leqslant n$
- $k=2, 3, \dots, n$
$A_1, A_2,\dots, A_n$ 相互独立
就是两两独立、三三独立、四四独立、... nn 独立才叫互相独立
$\Omega, \empty$ 与任何事件都相互独立
$A, B$ $P(A), P(B)>0$ $A, B$ 相容
$P(AB)=P(A)P(B)>0\to AB\neq\empty$
$P=0.001$ $n$ 支枪齐射命中的概率
解：
$A_i=\{第i支枪命中目标\}, i=1, 2,\dots, n$
$A_1, A_2, \dots, A_n$ 相互独立
$P_n=P(\bigcup_{i=1}^n A_i)=1-P(\bigcap_{i=1}^n\overline{A_i})=1-(1-p)^n=1-0.999^n$
$0.4, 0.5, 0.7$ $0.2$ $0.6$ ，被三门炮打中必定被击落，求飞机被击落的概率
解：
$A=\{飞机被击落\}$
$A_i=\{飞机被i门炮击中\},i=0, 1, 2, 3$
$B_j=\{第j门炮击中飞机\}, j=1, 2, 3$
则：
$A_1=B_1\overline {B_2}\overline{B_3}\cup\overline{B_1}B_2\overline{B_3}\cup\overline{B_1}\overline{B_2}B_3$
$A_2=B_1B_2\overline{B_3}\cup B_1\overline{B_2}B_3\cup\overline{B_1}B_2B_3$
$A_3=B_1B_2B_3$
所以
$P(A_1)=0.36$
$P(A_2)=0.41$
$P(A_3)=0.14$
全概率公式：
$P(A)=\sum_{i=0}^3P(A|A_i)P(A_i)=0+0.36\times0.2+0.41\times0.6+0.14\times1=0.458$

第二章随机变量

2.1 离散随机变量

$X$ $X$ 为离散型随机变量

2.1.1 概率质量函数 PMF

定义
$P\{X=x_k\}=p(x_k)=p_k, k=1, 2, \dots$
又称频率函数
性质
1. $P(x_k)\geqslant 0, k=1, 2, \dots$
2. 正则性
  $\sum_{k=1}^\infin p(x_k)=1$
以上两条为本质特征（充要条件）
表示方法
1. $P\{X=x_k\}=p(x_k)$
2. 分布列
  $X$ $x_1$ $x_2$ $\cdots$
  $p$ $p_1$ $p_2$ $\cdots$
3. 矩阵
  $\begin{bmatrix}x_1 & x_2 & \cdots\\ p_1 & p_2 & \cdots \end{bmatrix}$

$X$	$x_1$	$x_2$	$\cdots$
$p$	$p_1$	$p_2$	$\cdots$

2.1.2 累积分布函数 CDF

定义
$X, \forall x\in \R$
${X ⩽ x} ≜ {ω | X (ω) ⩽ x} \in A$
$\triangleq$ 表示“定义为”
$F(x)=p\{X\leqslant x\}, x\in\R$ $X$ 的分布函数
- $X$ 的频率函数如下
  $X$ 1 2 3
  $p$ 0.3 0.2 0.5
  $X$ $F(x)$
  解：
  $\forall x<1, F(x)=P\{X\leqslant x\}=P(\empty)=0$
  $\forall 1\leqslant x<2, F(x)=0.3$
  $\forall 2\leqslant x<3, F(x)=p_1+p_2=0.5$
  $\forall x\geqslant3, F(x)=P(\Omega)=1$
  $\therefore F(x)=\begin{cases}0 & x<1\\ 0.3 & 1\leqslant x<2\\ 0.5 & 2\leqslant x<3\\ 1 & x\geqslant 3 \end{cases}$
  图像为阶梯状、单调、右连续
性质
1. 单调不减 non-decreasing
2. $0\leqslant F(x)\leqslant 1$
  $\lim_{x\to -\infin}F(x)=0, \lim_{x\to \infin}F(x)=1$
3. 右连续
  $\lim_{\Delta x\to 0^+}F(x+\Delta x)=F(x)$
以上三条是判断一个函数是分布函数的判据
概率计算
1. $P\{a<X\leqslant b\}$
  $P\{a<X\leqslant b\}=P\{X\leqslant b\}-P\{X\leqslant a\}=F(b)-F(a)$
2. $P\{X=c\}$
  $P\{X=c\}=\lim_{\Delta t\to 0^+}P\{c-\Delta t<X\leqslant c \}=\lim_{\Delta t\to 0^+}[F(c)-F(c-\Delta t)]$
  $X=c$ $P\{X=c\}=0$
分布函数与事件概率的关系
$\forall a, b\in\R$
1. $P\{a<X\leqslant b\}=F(b)-F(a)$
2. $P\{X=a\}=F(a)-F(a-0)$
3. $P\{X\geqslant b\}=1-F(b-0)$
4. $P\{X>b\}=1-F(b)$
5. $P\{a<X<b\}=F(b-0)-F(a)$
6. $P\{a\leqslant X\leqslant b\}=F(b)-F(a-0)$
7. $P\{a\leqslant X<b\}=F(b-0)-F(a-0)$

$X$	1	2	3
$p$	0.3	0.2	0.5

2.1.3 离散随机变量的分布

单点分布（退化分布）
$X$ $P\{X=c\}=1$ $X$ 服从单点分布
$X=c(a.e.)$ $X\xlongequal{a.e.}c$
(0-1) 两点分布（伯努利分布）
$X$ $P\{X=1\}=p, P\{x=0\}=1-p$ $X$ 服从 (0-1) 两点分布
二项分布
- 伯努利试验
  $A,\overline A$ 的试验
  $n$ $n$ 次的试验
- 公式
  $X=n$ $A$ 发生的次数
  $P\{X=k\}=C_n^k p^k(1-p)^{n-k}=b(k;n, p)$
  $X$ $(n, p)$ $X\sim b(n, p)$
- 最大值（中心项）
  $m=(n+1)p$ $b(m;n, p)=b(m-1;n, p)$ 为最大值
  $m$ 是最可能出现的次数，不是正整数就取整
- $n=1$ 时退化为 (0-1) 两点分布
- $E(X)=np$
  $D(X)=np(1-p)$
几何分布
$X=k$ $k$ $k$ 次才成功
$P {X = k} = p (1 - p)^{k - 1}$
$X\sim Ge(P)$
- 无记忆性
  $P\{X>m+n|X>m\}=P\{x>n\}$
负二项分布
$r$ $k$ 次
$P {X = k} = p C_{k - 1}^{r - 1} p^{r - 1} (1 - p)^{k - r} = C_{k - 1}^{r - 1} p^{r} (1 - p)^{k - r}$
$X\sim Nb(r, p)$
- $r=1$ 时退化为几何分布
超几何分布
$n$ $r$ $n-r$ $m$ $X$ 为抽到黑球的次数
$P {X = k} = \frac{C_{r}^{k} C_{n - r}^{m - k}}{C_{n}^{m}}, k = 0, 1, 2, \dots, m$
$r$ $k$ $n-r$ $m-k$ 个
泊松分布
- 泊松流
  随时间推移，在时间轴上源源不断出现的随机粒子流
  例：某商店某天的顾客
- 泊松分布
  $X$ $(0, t]$ 中出现的粒子数
  $P {X = k} = \frac{λ^{k}}{k!} e^{- λ}, k = 0, 1, 2, \dots$
  $\lambda>0$ 为参数
  $X\sim \pi(\lambda)$ $X\sim P.(\lambda)$
  $k=0$ $P\{X=0\}=e^{-\lambda}$
- 性质
  $P\{X=k\}>0$
  $\sum_{k=0}^\infin P\{X=k\}=\sum_{k=0}^\infin \frac{\lambda^k}{k!}e^{-\lambda}=e^\lambda\cdot e^{-\lambda}=1$
- 泊松分布与泊松流的关系
  $X\sim\pi(\lambda t)$
  $P\{X=k\}=\frac{(\lambda t)^k}{k!}e^{-\lambda t}$
  $\lambda$ 称为泊松强度
- 泊松定理
  $\lambda>0$ $n$ $\lim_{n\to\infin} np_n=\lambda$ $\forall k=0, 1, 2, \dots$
  $lim_{n \to \infty} C_{n}^{k} p_{n}^{k} (1 - p_{n})^{n - k} = \frac{λ^{k}}{k!} e^{- λ}$
  $n$ $p$ 很小时，根据泊松定理
  $C_{n}^{k} p_{n}^{k} (1 - p_{n})^{n - k} \approx \frac{λ^{k}}{k!} e^{- λ}$
多项分布：二项分布的推广
$n$ $r$ $p_1, p_2,\dots,p_r$
$N_i$ $n$ $i$ $i=1, 2,\dots, r$ $N_1, N_2,\dots, N_r$ 的联合频率函数
$p (n_{1}, n_{2}, \dots, n_{r}) = \frac{n!}{n_{1}! n_{2}! \dots n_{r}!} p_{1}^{n_{1}} p_{2}^{n_{2}} \dots p_{r}^{n_{r}}$
- $\frac 38$ $\frac 38$ $\frac 14$ 概率立起来，求出现 4 次正面 3 次反面的概率
  解：
  $n_1$ $n_2$ $n_3$ 次立起来
  $\therefore n_1+n_2+n_3=10$
  $P(n_1, n_2, n_3)=\frac{10!}{n_1!n_2!n_3!}(\frac 38)^{n_1}(\frac 38)^{n_2}(\frac 14)^{n_3}$
  $\therefore P(4, 3, 3)=\frac{10!}{4!3!3!}(\frac 38)^{4}(\frac 38)^{3}(\frac 14)^{3}$
多维超几何分布
$N$ $r$ $i$ $N_i$ $N_1+N_2+\cdots+N_r=N$
$n$ $X_i$ $n$ $i$ $(X_1, X_2,\dots, X_r)$ 的分布为
$P (X_{1} = n_{1}, X_{2} = n_{2}, \dots, X_{r} = n_{r}) = \frac{C_{N_{1}}^{n_{1}} C_{N_{2}}^{n_{2}} \dots C_{N_{r}}^{n_{r}}}{C_{N}^{n}}$

2.2 连续随机变量

2.2.1 概率密度函数 PDF

定义
$X$ $F(x)=\int_{-\infin}^x f(t)dt, x\in\R$ $f(t)\geqslant 0$ $X$ $f(x)$ 称为密度函数
- 连续随机变量在区间上的取值是“连续的”
- 连续随机变量的分布函数满足以上特征且连续
  $F(x)$ $f(x)$ 可积
- $X$ 的分布函数为
  $\begin{matrix} F (x) = {\begin{cases} 1 - e^{- \frac{x}{θ}} & x > 0 \\ 0 & x ⩽ 0 \end{cases} \end{matrix}$
  $f(x)$
  解：
  求导得
  $\begin{matrix} f (x) = {\begin{cases} \frac{1}{θ} e^{- \frac{x}{θ}} & x > 0 \\ 0 & x ⩽ 0 \end{cases} \end{matrix}$
性质
1. $f(x)\geqslant 0$
2. 正则性
  $\int_{-\infin}^\infin f(t)dt=1$
3. $\forall x_1<x_2, P\{x_1<X\leqslant x_2\}=F(x_2)-F(x_1)=\int_{x_1}^{x_2}f(x)dx$
  $=P\{x_1<X<x_2\}=P\{x_1\leqslant X<x_2\}=P\{x_1\leqslant X\leqslant x_2\}$
  几何意义：面积表示概率
  $P\{x\leqslant x_0\}=\int_{-\infin}^{x_0}f(x)dx$
  $P\{x>x_0\}=\int_{x_0}^\infin f(x)dx$
4. $f(x)$ $f(x)=F'(x)$
5. $P\{X=c\}=0$ ，但是不代表是不可能事件
  $f$ $c$ $X$ $c$ 附近的概率越大。在某点密度曲线的高度反映了概率集中在该点附近的程度
$p$ - 分位数
$X\sim f(x)$ $\forall 0<p<1$ $\exists$ $x_p$ $P\{X\leqslant x_p\}=\int_{-\infin}^{x_p}f(x)dx=p$ $x_p$ $p$ 分位数

2.2.2 连续随机变量的分布

均匀分布
$X$ 的密度函数为
$\begin{matrix} f (x) = {\begin{cases} \frac{1}{b - a} & a < x < b \\ 0 & 其他 \end{cases} \end{matrix}$
$X$ $(a, b)$ $X\sim U(a, b)$
- $\forall (c, c+L)\subset (a, b), P\{c<X< c+L\}=\int_{c}^{c+L}\frac {1}{b-a}dx=\frac{L}{b-a}$
  只和区间长度有关，和位置无关
指数分布
$X$ 的密度函数为
$\begin{matrix} f (x) = {\begin{cases} λ e^{- λ x} & x > 0 \\ 0 & x ⩽ 0 \end{cases} \end{matrix}$
$X$ $\lambda>0$ $X\sim EXP(\lambda)$
$\lambda:$ $\frac 1\lambda:$ 平均寿命
- 分布函数
  $\begin{matrix} F (x) = \int_{- \infty}^{x} f (t) d t = {\begin{cases} 1 - e^{- λ x} & x > 0 \\ 0 & x ⩽ 0 \end{cases} \end{matrix}$
- 无记忆性
  $P\{X>s+t|X>s\}=P\{X>t\}$
- $E(X)=\frac 1\lambda$
  $D(X)=\frac {1}{\lambda^2}$
伽马分布
$X$ 的密度函数为
$\begin{matrix} f (x) = {\begin{cases} \frac{λ^{r}}{Γ (r)} x^{r - 1} e^{- λ x} & x > 0 \\ 0 & x ⩽ 0 \end{cases} \end{matrix}$
$r>0, \lambda>0$ $X$ $(r, \lambda)$ $\Gamma$ $X\sim \Gamma(r, \lambda)$
$Γ (r) = \int_{0}^{\infty} x^{r - 1} e^{- x} d x, r > 0$
- $\Gamma(1)=1$
  $\Gamma(\frac 12)=\sqrt\pi$
  $\Gamma(n)=(n-1)!$
- $r:$ 形状参数
  $\lambda:$ 尺度参数
- $\Gamma(1, \lambda)=EXP(\lambda)$
正态分布
- 定义
  $X$ 的密度函数为
  $f (x) = \frac{1}{\sqrt{2 π} σ} e^{- \frac{(x - μ)^{2}}{2 σ^{2}}}, x \in R, σ > 0$
  $X$ $(\mu, \sigma^2)$ $X\sim N(\mu, \sigma^2)$
- 性质
  1. $f(x)$ $x=\mu$ 对称
  2. $f(x)$ $\mu$ $f(\mu)=\frac{1}{\sqrt{2\pi}\sigma}$ ，左增右减
  3. $f(x)$ $x$ 轴为渐近线
- 图像
  $\mu:$ $\mu$ 增大，图像右移
  $\sigma:$ $\sigma$ 增大，图像变尖（高瘦）
- 标准正态分布
  $\mu=0, \sigma^2=1$
  $φ (x) = \frac{1}{\sqrt{2 π}} e^{- \frac{x^{2}}{2}}$
  分布函数:
  $Φ (x) = \int_{- \infty}^{x} \frac{1}{\sqrt{2 π}} e^{- \frac{t^{2}}{2}} d t$
  - $\Phi(0)=\frac 12$
  - $\Phi(-x)=1-\Phi(x)$
  - 计算
    - $x\geqslant 0$ ：查表
    - $x<0$ $\Phi(-x)=1-\Phi(x)$
- 一般正态分布与标准正态分布的转换
  $X\sim N(\mu, \sigma^2)$ $Z=\frac{x-\mu}{\sigma}$ $Z\sim N(0, 1)$
  $P\{X\leqslant a\}=P\{X-\mu\leqslant a-\mu\}=P\{\frac{x-\mu}{\sigma}\leqslant \frac{a-\mu}{\sigma}\}=P\{Z\leqslant \frac{a-\mu}{\sigma}\}=\Phi(\frac{a-\mu}{\sigma})$
- $3\sigma$ 原则
  $P\{\mu-\sigma<X<\mu+\sigma\}=0.6826$
  $P\{\mu-2\sigma<X<\mu+2\sigma\}=0.9544$
  $P\{\mu-3\sigma<X<\mu+3\sigma\}=0.9974$
贝塔分布
$f (u) = \frac{Γ (a + b)}{Γ (a) Γ (b)} u^{a - 1} (1 - u)^{b - 1}, 0 ⩽ u ⩽ 1$
$a=b=1$ 时为均匀分布
$p (x) = \frac{1}{B (a, b)} x^{a - 1} (1 - x)^{b - 1}, 0 < x < 1$
$X\sim Be(a, b), a>0, b>0$
$B(a, b)=\int_0^1 x^{a-1}(1-x)^{b-1}dx$ 为贝塔函数
- $B(a, b)=B(b, a)$
- $B(a, b)=\frac{\Gamma(a)\Gamma(b)}{\Gamma(a+b)}$
- $Be(1, 1)=U(0, 1)$

2.3 随机变量的函数

2.3.1 离散随机变量函数的频率函数

离散型+离散型
$X$ 的频率函数为
$X$ $X_1$ $X_2$ $\cdots$ $X_n$ $\cdots$
$p_k$ $p_1$ $p_2$ $\cdots$ $p_n$ $\cdots$
$Y=g(X)$ 的频率函数为
$X$ $g(X_1)$ $g(X_2)$ $\cdots$ $g(X_n)$ $\cdots$
$p_k$ $p_1$ $p_2$ $\cdots$ $p_n$ $\cdots$
相同合并
- $X$ 的频率函数为
  $X$ $-1$ $0$ $1$ $2$
  $p$ $0.2$ $0.3$ $0.1$ $0.4$
  $Y=(X-1)^2$ 的频率函数
  解：
  $Y$ $4$ $1$ $0$ $1$
  $p$ $0.2$ $0.3$ $0.1$ $0.4$
  合并后：
  $Y$ $4$ $1$ $0$
  $p$ $0.2$ $0.7$ $0.1$
连续型+离散型
$X\sim U(0, 1)$ ，定义
$\begin{matrix} Y = {\begin{cases} 0 & 0 < X ⩽ 0.25 \\ 1 & 0.25 < X ⩽ 0.75 \\ 2 & 0.75 < X ⩽ 1 \end{cases} \end{matrix}$
$Y$ 的频率函数
解：
$P\{Y=0\}=P(0<X\leqslant0.25)=\int_{0}^{0.25}\frac{1}{1-0}dx=0.25$
$P\{Y=1\}=P(0.25<X\leqslant0.75)=\int_{0.25}^{0.75}\frac{1}{1-0}dx=0.5$
$P\{Y=2\}=P(0.75<X\leqslant1)=\int_{0.75}^{1}\frac{1}{1-0}dx=0.25$
$Y$ 的频率函数为
$Y$ 0 1 2
$p$ 0.25 0.5 0.25

$X$	$X_1$	$X_2$	$\cdots$	$X_n$	$\cdots$
$p_k$	$p_1$	$p_2$	$\cdots$	$p_n$	$\cdots$

$X$	$g(X_1)$	$g(X_2)$	$\cdots$	$g(X_n)$	$\cdots$
$p_k$	$p_1$	$p_2$	$\cdots$	$p_n$	$\cdots$

$X$	$-1$	$0$	$1$	$2$
$p$	$0.2$	$0.3$	$0.1$	$0.4$

$Y$	$4$	$1$	$0$	$1$
$p$	$0.2$	$0.3$	$0.1$	$0.4$

$Y$	$4$	$1$	$0$
$p$	$0.2$	$0.7$	$0.1$

$Y$	0	1	2
$p$	0.25	0.5	0.25

2.3.2 连续型随机变量函数的分布

计算流程
1. $Y$ $F_Y(y)=P\{Y\leqslant y\}$
2. $X$ 的概率计算问题
  $Y=g(X)$ 的性质
3. $f_Y(y)=F'_Y(y)$
- $X$ 的密度函数为
  $\begin{matrix} f_{X} (x) = {\begin{cases} \frac{x}{8} & 0 < x < 4 \\ 0 & 其他 \end{cases} \end{matrix}$
  $Y=2X+8$ 的密度函数
  解：
  $Y$ 的分布函数
  $F_Y(y)=P\{Y\leqslant y\}=P\{2X+8\leqslant y\}=P\{X\leqslant \frac{y-8}{2}\}=F_X(\frac{y-8}{2})$
  $F_X(x)=\int_{-\infin}^{x}f_X(t)dt=\begin{cases}\frac{x^2}{16} & 0<x<4\\0 & 其他 \end{cases}$
  $\therefore F_Y(y)=\begin{cases}\frac{(y-8)^2}{64} & 8<y<16\\ 0 & 其他 \end{cases}$
  $\therefore f_Y(y)=F'_Y(y)=\begin{cases}\frac{y-8}{32} & 8<y<16\\ 0 & 其他 \end{cases}$
- $X$ $f_X(x)$ $Y=a+bX, b\neq 0$ 的密度函数
  解：
  $F_Y(y)=P\{Y\leqslant y\}=P\{a+bX\leqslant y\}$
  1. $b>0$
    $F_Y(y)=P\{X\leqslant \frac{y-a}{b} \}=\int_{-\infin}^{\frac{y-a}{b}}f_X(x)dx$
    $\therefore f_Y(y)=F'_Y(y)=\frac 1bf_X(\frac{y-a}{b})$
  2. $b<0$
    $F_Y(y)=P\{X\geqslant \frac{y-a}{b} \}=1-\int_{-\infin}^{\frac{y-a}{b}}f_X(x)dx$
    $\therefore f_Y(y)=F'_Y(y)=-\frac 1bf_X(\frac{y-a}{b})$
  $f_Y(y)=F'_Y(y)=sgn(b)\frac 1bf_X(\frac{y-a}{b})$
- $X$ $f_X(x)$ $Y=g(X)$ $Y$ 的密度函数
  解：
  $F_Y(y)=P\{g(X)\leqslant y \}$
  $\because Y 单调递增$
  $\therefore F_Y(y)=P\{X\leqslant g^{-1}(y) \}=\int_{-\infin}^{g^{-1}(y)}f_X(x)dx$
  $\because Y 处处可导$
  $\therefore f_Y(y)=F_Y'(y)=[g^{-1}(y)]'f_X[g^{-1}(y)]$
$X$ $f(x)$ $Y=g(X)$ $g^{-1}(Y)$ $Y$ 的密度函数为
$\begin{matrix} f_{Y} (y) = {\begin{cases} | [g^{- 1} (y)]^{'} | f_{X} [g^{- 1} (y)] & g^{- 1} (y) 有意义 \\ 0 & 其他 \end{cases} \end{matrix}$
- $X\sim U(0, 1)$ $Y=e^X$ 的密度函数
  解：
  $X\sim U(0,1)\Rightarrow 0<X<1 \Rightarrow 1<Y<e$
  $h(y)=\ln y, 1<y<e$
  $\therefore f_Y(y)=\begin{cases}|h'(y)|f_X[h(y)] & 1<y<e\\0 & 其他 \end{cases}=\begin{cases}\frac 1y & 1<y<e\\0 & 其他\end{cases}$
$X$ $f(x)$ $Y=g(X)$ $(a_1, b_1), (a_2, b_2),\dots$ $h_1(y), h_2(y), \dots$ $Y$ 的密度函数为
$\begin{matrix} f_{Y} (y) = {\begin{cases} \sum_{i} | h_{i}^{'} (y) | f [h_{i} (y)] & h_{i} (y) 有意义 \\ 0 & 其他 \end{cases} \end{matrix}$
- $X\sim N(0, 1)$ $Y=X^2$ 的密度函数
  解：
  $g(x)=x^2$ $x<0$ $g(x)$ $x>0$ $g(x)$ 严格单调递增，反函数分别为
  $h_1(y)=-\sqrt y, h_2(y)=\sqrt y, y>0$
  $\therefore h_1'(y)=-\frac{1}{\sqrt{2y}}, h_2'(y)=\frac{1}{\sqrt{2y}}, y>0$
  $\therefore f_Y(y)=\begin{cases}|h_1'(y)|\varphi[h_1(y)]+|h_2'(y)|\varphi[h_2(y)] & y>0\\0 & y\leqslant 0\end{cases}=\begin{cases}\frac{1}{\sqrt{2\pi}}y^{-\frac 12}e^{-\frac y2} & y>0\\0 & y\leqslant 0\end{cases}$

2.4 第二章习题

$X\sim p(x)$ $p(x)=p(-x)$ $F(x)$ $X$ $a>0$ $F(-a)$
解：
根据偶函数的性质，阴影部分面积相等
$F(-a)=1-F(a)$
$\therefore F(0)=1-F(0)\Rightarrow F(0)=\frac 12$
$\therefore F(-a)=\frac 12-\int_0^a p(x)dx$
$X$ 的分布函数
$\begin{matrix} F (x) = {\begin{cases} 0 & x < 0 \\ \frac{1}{2} & 0 ⩽ x ⩽ 1 \\ 1 - e^{- x} & x ⩾ 1 \end{cases} \end{matrix}$
$P(X=1)$
解：
$P(X=1)=P(X\leqslant 1)-P(X<1)=F(1)-F(1-0)$
$=F(1)-\lim_{\Delta x\to 0}F(1-\Delta x)=1-\frac 1e-\frac 12=\frac 12-\frac 1e$
经验表明：预订餐厅座位而不来就餐的顾客的比例为 20%。现在餐厅有 50 个座位，但预订给了 52 个人，求顾客到来时餐厅没有空位的概率
解：
$X$ 为 52 位顾客中不来的人数
$p=0.2$
$X\sim b(52, 0.2)$
$\Leftrightarrow$ 最多俩人鸽了
$\therefore P(X\leqslant 2)=P(X=0)+P(X=1)+P(X=2)=0.8^{52}+C_{52}^1 0.8^{51}0.2^1+C_{52}^2 0.8^{50}0.2^2$
$X$ $f(x)$ $f(1+x)=f(1-x)$ $\int_0^2f(x)dx=0.6$ $P(X<0)$
解：
1. 作图
  $P(X<0)=\frac{1-0.6}{2}=0.2$
2. 计算
  $1=\int_{-\infin}^{\infin}f(x)dx=\int_{-\infin}^{0}f(x)dx+\int_{0}^{2}f(x)dx+\int_{2}^{\infin}f(x)dx$
  $x=1+t$
  $=\int_{-\infin}^{0}f(x)dx+0.6+\int_{1}^{\infin}f(1+t)dt$
  $=\int_{-\infin}^{0}f(x)dx+0.6+\int_{1}^{\infin}f(1-t)dt$
  $u=1-t$
  $=\int_{-\infin}^{0}f(x)dx+0.6+\int_{0}^{\infin}f(u)d(-u)$
  $=2\int_{-\infin}^{0}f(x)dx+0.6$
  $\int_{-\infin}^{0}f(x)dx=0.2\Rightarrow P(X<0)=0.2$
$Y\sim EXP(1)$ $a>0$ $P(Y\leqslant a+1|Y>a)$
解：无记忆性
$P(Y\leqslant a+1|Y>a)=1-P(Y>a+1|Y>a)=1-P(Y>1)=P(Y\leqslant 1)=F(1)=1-e^{-1}$
$X\sim N(10, 4)$ $P(10<X<13), P(|X-10|<2)$
解：
$P(10<X<13)=P(\frac{10-10}{2}<\frac{X-10}{2}<\frac{13-10}{2})=\Phi(1.5)-\Phi(0)=0.9932-0.5=0.4932$
$P(|X-10|<2)=P(8<X<12)=P(\frac{8-10}{2}<\frac{X-10}{2}<\frac{12-10}{2})=\Phi(1)-\Phi(-1)=2\Phi(1)-1=0.6826$
$X\sim N(3, 2^2)$ $P(X>k)=P(X\leqslant k)$ $k$
解：
$P(X>k)=P(X\leqslant k)$ $P(X>k)+P(X\leqslant k)=1$
$\therefore P(X\leqslant k)=\frac 12 \Rightarrow P(\frac{X-3}{2}\leqslant\frac{k-3}{2})=\Phi(\frac{k-3}{2})=\frac 12$
$\therefore \frac{k-3}{2}=0 \Rightarrow k=3$
$X\sim N(\mu, 4^2), Y\sim N(\mu, 5^2)$ $p_1=P(X\leqslant\mu-4), p_2=P(Y\geqslant\mu+5)$
$A.\forall\mu,p_1=p_2\quad B.\forall\mu,p_1<p_2\quad C.个别\mu,p_1=p_2\quad D.\forall\mu,p_1>p_2$
$A$
$P(X\leqslant\mu-4)=P(\frac{X-\mu}{4}\leqslant -1)=\Phi(-1)=1-\Phi(1)$
$P(Y\geqslant\mu+5)=P(\frac{Y-\mu}{5}\geqslant1)=1-\Phi(1)$
$\therefore p_1=p_2$
$X\sim N(\mu_1, \sigma_1^2), Y\sim N(\mu_2, \sigma_2^2)$ $P(|X-\mu_1|<1)>P(|Y-\mu_2|<1)$
$A.\sigma_1<\sigma_2\quad B.\sigma_1>\sigma_2\quad C.\mu_1<\mu_2\quad D.\mu_1>\mu_2$
$A$
$P(|X-\mu_1|<1)=P(-1<X-\mu_1<1)=P(-\frac{1}{\sigma_1}<\frac{X-\mu_1}{\sigma_1}<\frac{1}{\sigma_1})=2\Phi(\frac{1}{\sigma_1})-1$
$P(|Y-\mu_2|)=2\Phi(\frac{1}{\sigma_2})-1$
$\therefore \Phi(\frac{1}{\sigma_1})>\Phi(\frac{1}{\sigma_2})$
$\because \Phi(x)$ 单增
$\therefore \frac{1}{\sigma_1}>\frac{1}{\sigma_2}\Rightarrow \sigma_1<\sigma_2$
$f_1(x)$ $f_2(x)$ $[1, 3]$ 上均匀分布的概率密度
$f(x)=\begin{cases}af_1(x) & x\leqslant 0\\bf_2(x) & x>0 \end{cases} & a, b>0$ $a, b$ 满足
解：
$f_1(x)=\frac{1}{\sqrt{2\pi}}e^{-\frac{x^2}{2}}, x\in\R$
$f_2(x)=\begin{cases}\frac 14 & -1\leqslant x\leqslant 3\\0 & 其他 \end{cases}$
$\int_{-\infin}^{\infin}f(x)dx=1\Rightarrow\int_{-\infin}^{0}af_1(x)dx+\int_0^3 bf_2(x)dx=1$
$\therefore \frac 12a+\frac 34b=1\Rightarrow 2a+3b=4$
$X\sim p_X(x)=\frac{1}{\pi(1+x^2)}$ $Y=e^X$ 的概率密度
解：
$F_Y(y)=P(Y\leqslant y)=P(e^X\leqslant y)\xlongequal{y>0} P(X\leqslant\ln y)=F_X(\ln y)=\int_{0}^{\ln y}\frac{1}{\pi(1+x^2)}dx$
$\therefore f_Y(y)=F'_Y(y)=\begin{cases}\frac{1}{\pi y(1+\ln^2y)} & y>0\\ 0 & y\leqslant 0 \end{cases}$
$X\sim N(0, \sigma^2)$ $Y=X^2$ 的密度函数
解：
$Y=X^2>0\Rightarrow y\leqslant 0$ $f_Y(y)=0$
$y>0$ $F_Y(y)=P(Y\leqslant y)=P(X^2\leqslant y)=P(-\sqrt y\leqslant X\leqslant \sqrt y)=\int_{-\sqrt y}^{\sqrt y}\frac{1}{\sqrt{2\pi}\sigma}e^{-\frac{x^2}{2\sigma^2}}dx$
$\therefore f_Y(y)=F'_Y(y)=\frac{1}{2\sqrt y}\frac{1}{\sqrt{2\pi}\sigma}e^{-\frac{y}{2\sigma^2}}-(-\frac{1}{2\sqrt y}\frac{1}{\sqrt{2\pi}\sigma}e^{-\frac{y}{2\sigma^2}})=\frac{1}{\sqrt{2\pi y}\sigma}e^{-\frac{y}{2\sigma^2}}, y>0$
$\therefore f_Y(y)=\begin{cases}\frac{1}{\sqrt{2\pi y}\sigma}e^{-\frac{y}{2\sigma^2}} & y>0\\ 0 & y\leqslant 0 \end{cases}$

第三章联合分布

3.1 联合累积分布函数

二维随机变量
$\Omega$ $X=X(\omega), Y=Y(\omega),\omega\in\Omega$ $\Omega$ 上的两个 r.v.
$(X, Y)\triangleq(X(\omega), Y(\omega)), \omega\in\Omega$ $(X, Y)$ 为二维随机变量或二维随机向量
分布函数
1. 概念
  $(X, Y)$ $x, y\in\R$ $F(x, y)\triangleq P(X\leqslant x, Y\leqslant y)$
  $F(x, y)$ $(X, Y)$ 的联合累积分布函数
  $(x, y)$ 左下方区域的概率
2. 概率计算
  $P (x_{1} < X ⩽ x_{2}, y_{1} < Y ⩽ y_{2}) = F (x_{2}, y_{2}) - F (x_{1}, y_{2}) - F (x_{2}, y_{1}) + F (x_{1}, y_{1})$
  多减了一块阴影
3. 性质
  1. $x_0$ $F(x_0, y)$ $y$ 的单调不减函数
    $y_0$ $F(x, y_0)$ $x$ 的单调不减函数
  2. $0\leqslant F(x, y)\leqslant 1$
    $F(\infin, \infin)=1, F(-\infin, -\infin)=0$
    $F(-\infin, y)=0, F(x, -\infin)=0$
  3. $F(x, y)=F(x, y+0)$ $y$ 右连续
    $F(x, y)=F(x+0, y)$ $x$ 右连续
  4. $\forall x_1<x_2,y_1<y_2$ 有
    $F(x_2, y_2)-F(x_1, y_2)-F(x_2, y_1)+F(x_1, y_1)\geqslant 0$
    $F(x, y)=\begin{cases}1 & x+y\geqslant 1\\ 0 & x+y<-1 \end{cases}$

3.2 二维离散型随机变量

3.2.1 联合频率函数

概念
$(X, Y)$ $x_i, y_j$ $P(X=x_i, Y=y_j)=p(x_i, y_j)=p_{ij}$
$i, j=1, 2,\dots$ $(X, Y)$ 的频率函数或联合频率函数
性质
1. 非负性
  $P(X=x_i, Y=y_j)\geqslant 0$
2. 正则性
  $\sum_{i=1}^\infin\sum_{j=1}^\infin p_{ij}=1$

3.2.2 边际分布

概念
$F_X(x)$ $(X, Y)$ $X$ $F_Y(y)$ $Y$ 的边际分布函数
$F_X(x)=P(X\leqslant x)=P(X\leqslant x, Y\leqslant\infin)=F(x, \infin)$
$F_Y(y)=F(\infin, y)$
边际分布完全由联合分布决定

边际频率函数

$(X, Y)$ $P(X=x_i, Y=y_j)=p_{ij}\ (i, j=1, 2,\dots)$

$X$ $P(X=x_i)=\sum_{j=1}^\infin P(X=x_i, Y=y_j)=\sum_{j=1}^\infin p_{ij}=p_{i\cdot}\ (i=1, 2,\dots)$

$Y$ $P(Y=y_j)=\sum_{i=1}^\infin p_{ij}=p_{\cdot j}$

$\{p_{i\cdot}\}$ $(X, Y)$ $X$ $\{p_{\cdot j}\}$ $Y$ 的边际频率函数

$X$ $1, 2, 3, 4$ $Y$ $1$ $X$ $(X, Y)$ 的联合频率函数以及各自的边际频率函数

解：

$X$ $1, 2, 3, 4$ $X=i\ (i=1, 2, 3, 4)$ $Y$ $1\sim i$ 。由乘法公式，

$P(X=i, Y=j)=P(Y=j|X=i)P(X=i)=\frac{1}{4i}, 1\leqslant j\leqslant i$

所以联合频率函数为

$Y\backslash X$	1	2	3	4	$p_{\cdot j}$
1	$\frac 14$	$\frac 18$	$\frac {1}{12}$	$\frac {1}{16}$	$\frac{25}{48}$
2	0	$\frac 18$	$\frac {1}{12}$	$\frac {1}{16}$	$\frac{13}{48}$
3	0	0	$\frac {1}{12}$	$\frac {1}{16}$	$\frac{7}{48}$
4	0	0	0	$\frac {1}{16}$	$\frac{3}{48}$
$p_{i\cdot}$	$\frac 14$	$\frac 14$	$\frac 14$	$\frac 14$

边际频率函数为

$X$	1	2	3	4
$p_{i\cdot}$	$\frac 14$	$\frac 14$	$\frac 14$	$\frac 14$

$Y$	1	2	3	4
$p_{\cdot j}$	$\frac{25}{48}$	$\frac{13}{48}$	$\frac{7}{48}$	$\frac{3}{48}$

3.3 二维连续型随机变量

3.3.1 联合概率密度函数

概念
$(X, Y)$ $F(x, y)=P(X\leqslant x, Y\leqslant y)$ $f(x, y)$ $\int_{-\infin}^{x}\int_{-\infin}^{y}f(u, v)dudv=F(x, y)$ $f(x, y)$ $(X, Y)$ 的联合概率密度函数
性质
1. $f(x, y)\geqslant 0$
2. $\int_{-\infin}^{\infin}\int_{-\infin}^{\infin} f(u, v)dudv=1$
3. $\forall D\in\R^2, P((X, Y)\in D)=\iint_D f(x, y)dxdy$
  曲顶柱体的体积
4. $f(x, y)$ $\frac{\partial^2 F(x, y)}{\partial x\partial y}=f(x, y)$
  $F_{xy}, F_{yx}$ 混合二阶偏导
$(X, Y)$ $f(x, y)=\begin{cases}ke^{-(2x+y)} & x>0, y>0\\0& 其他 \end{cases}$
$k$ $F(x, y)$ $P(Y\leqslant X)$
解：
(1)
$\int_{-\infin}^{\infin}\int_{-\infin}^{\infin} f(x, y)dxdy=1$
$\therefore k\int_{0}^{\infin}\int_{0}^{\infin}e^{-2x-y}dxdy=k\int_{0}^{\infin}e^{-2x}dx\int_{0}^{\infin}e^{-y}dy=\frac k2=1$
$\therefore k=2$
(2)
$F(x, y)$
$=\int_{-\infin}^{x}\int_{-\infin}^{y}f(u, v)dudv$
$=\begin{cases}\int_0^x\int_0^y 2e^{-2u-v}dudv & x>0, y>0\\0 & 其他 \end{cases}$
$=\begin{cases}2\int_0^x e^{-2u}du\int_0^y e^{-v}dv & x>0, y>0\\0 & 其他 \end{cases}$
$=\begin{cases}(1-e^{-2x})(1-e^{-y}) & x>0, y>0\\0 & 其他 \end{cases}$
(3)
$D=\{(x, y)|y\leqslant x, x,y>0 \}$ $P(Y\leqslant X)=P((X, Y)\in D)=\iint_D f(x, y)dxdy$
$\iint_D f(x, y)dxdy=\int_0^\infin dy\int_y^\infin 2e^{-2x-y}dx=\frac 13$

3.3.2 二维连续变量的边际密度函数

边际密度
$X$ $F_X(x)=P\{X\leqslant x, Y<\infin\}=\int_{-\infin}^x(\int_{-\infin}^\infin f(u, y)dy)du$
$X$ $f_X(x)=\int_{-\infin}^\infin f(x, y)dy, x\in\R$
$f_Y(y)\int_{-\infin}^\infin f(x, y)dx, y\in\R$
注意积分的上下限根据题意找范围
- $f(x, y)=\begin{cases}e^{-y} & x>0, y>x\\0 & 其他 \end{cases}$ $f_X(x), f_Y(y)$
  解：
  $x\leqslant 0$ $f_X(x)=\int_{-\infin}^{\infin}0 dy=0$
  $x>0$ $f_X(x)=\int_x^\infin e^{-y}dy=e^{-x}$
  $y\leqslant 0$ $f_Y(y)=0$
  $y>0$ $f_Y(y)=\int_0^y e^{-y}dx=ye^{-y}$
  综上，
  $f_X(x)=\begin{cases}e^{-x} & x>0\\ 0 & x\leqslant 0 \end{cases}$
  $f_Y(y)=\begin{cases}ye^{-y} & y>0\\ 0 & y\leqslant 0 \end{cases}$
Farlie-Morgenstern 族
$F(y), G(y)$ $\forall |\alpha|<1$
$H(x, y)=F(x)G(y)\{1+\alpha[1-F(x)][1-G(y)] \}$ 是二元连续分布函数
$H(x, \infin)=F(x), H(\infin, y)=G(y)$
给定边际分布，可以构造无数个不同的二维联合分布
连接函数 coupla
$C(u, v)$
性质：
1. $C(u, v)$ 关于每个变量都是不减的
2. $P(U\leqslant u)=C(u, 1)=u, C(1, v)=v$
3. $c(u, v)=\frac{\partial^2}{\partial u\partial v}C(u, v)\geqslant 0$
4. $X, Y$ $F_X(x)$ $F_Y(y)$ $U=F_X(x)$ $V=F_Y(y)$ $C(u, v)$ $F(x, y)=C[F_X(x), F_Y(y)]$ $F_X(x), F_Y(y)$ $f(x, y)=c[F_X(x), F_Y(y)]f_X(x)f_Y(y)$
  说明：两个边际分布与任意的连接函数，可以构造出相同边际分布的联合分布，即：边际分布不能决定联合分布，两个变量的相依性由连接函数控制

3.3.3 二维正态分布

$(X, Y)$ 的联合密度为

f (x, y) = \frac{1}{2 π σ_{1} σ_{2} \sqrt{1 - ρ^{2}}} e^{- \frac{1}{2 (1 - ρ^{2})} [\frac{(x - μ_{1})^{2}}{σ_{1}^{2}} - 2 ρ \frac{(x - μ_{1}) (y - μ_{2})}{σ_{1} σ_{2}} + \frac{(y - μ_{2})^{2}}{σ_{2}^{2}}]}

$(X, Y)$ $(\mu_1, \mu_2, \sigma_1^2, \sigma_2^2, \rho)$ $(X, Y)\sim N(\mu_1, \mu_2, \sigma_1^2, \sigma_2^2, \rho)$

$\mu_1, \mu_2\in\R, \sigma_1, \sigma_2>0, |\rho|<1$

$(X, Y)\sim N(\mu_1, \mu_2, \sigma_1^2, \sigma_2^2, \rho)$ $X\sim N(\mu_1, \sigma_1^2), Y\sim N(\mu_2, \sigma_2^2)$
正态密度的图形及边际密度的几何意义
边际密度是正态曲线
$f_Y(y)=\int_{-\infin}^{\infin}f(x, y)dx$ $y$ ，截面曲边梯形的面积
$X, Y$ $\Leftrightarrow\rho=0$
$X$ $Y$ $Y$ $X$ 的条件密度是一维正态分布
两个边际密度是正态分布的变量，联合分布不一定是二维正态分布
$\Leftrightarrow$ 不相关

3.4 独立随机变量

独立变量
$(X, Y)\sim F(x, y), X\sim F_X(x), Y\sim F_Y(y)$
$\forall x, y\in\R$ $P(X\leqslant x, Y\leqslant y)=P(X\leqslant x)P(Y\leqslant y)$ $F(x, y)=F_X(x)F_Y(y)$
$X, Y$ 相互独立
- 直观意义
  $X, Y$ 的取值是相互独立、互不相干的
  $\{x_1<X\leqslant x_2\}, \{y_1<Y\leqslant y_2\}$ 独立
- 判定相互独立
  1. $F(x, y)=F_X(x)F_Y(y)$ （本质定义）
  2. $f(x, y)=f_X(x)f_Y(y)$
  3. $p_{ij}=p_ip_j$
- $X, Y$ $\Leftrightarrow f(x, y)$ $f(x, y)=g(x)h(y)$
二维离散型随机变量的独立性
$(X, Y)$ $P(X=X_i, Y=y_j)=p_{ij}\ (i, j=1, 2, \dots)$
$X, Y$ $\forall i, j=1, 2, \dots$ $P(X=x_i, Y=y_j)=P(X=x_i)P(Y=y_j)$
二维连续型随机变量的独立性
$(X, Y)$ $(X, Y)\sim f(x, y), X\sim f_X(x), Y\sim f_Y(y)$
$(X, Y)$ $\int_{-\infin}^x\int_{-\infin}^y f(u, v)dudv=P(X\leqslant x, Y\leqslant y)=\int_{-\infin}^x f_X(u)du\int_{-\infin}^y f_Y(v)dv$
$f(x, y), f_X(x), f_Y(y)$ $f(x, y)=f_X(x)f_Y(y)$
- 例：在某一分钟内，信号进入收信机是等可能的。若收到两个互相独立的信号间隔为 0.5 秒，则信号产生相互干扰，求两信号互相干扰的概率
  解：
  $X, Y$ $X\sim U(0, 1), Y\sim U(0, 1)$
  $\because X, Y$ 独立
  $\therefore f(x, y)=f_X(x)f_Y(y)=\begin{cases}1 & 0<x<1, 0<y<1\\ 0 & 其他 \end{cases}$
  $\therefore P(|X-Y|\leqslant\frac{1}{120})=\iint_{|X-Y|\leqslant \frac{1}{120}}f(x, y)dxdy=\iint_D 1 dxdy=S_D=1-(1-\frac{1}{120})^2=0.016$
$n$ 维随机变量的边际分布和独立性
1. 一维边际分布
  $n$ $F(x_1, x_2,\cdots, x_n)=P(X_1\leqslant x_1, X_2\leqslant x_2, \dots, X_n\leqslant x_n)$
  $X_i$ 的边际分布
  $F_{X_i}(x_i)=P(X_1<\infin, X_2<\infin, \dots, X_{i-1}<\infin, X_i\leqslant x_i, X_{i+1}<\infin, \dots, X_n<\infin)$
  $F(\infin, \infin, \dots, \infin, x_i, \infin, \dots, \infin)$
2. 二维边际分布
  $F_{X_1X_2}(x_1, x_2)=P(X_1\leqslant x_1, X_2\leqslant x_2, X_3<\infin, X_4<\infin, \dots, X_n<\infin)$
  $F(x_1, x_2, \infin, \dots, \infin)$
  类似地可定义高维边际分布
3. 随机向量的独立性
  - $\forall X_1, X_2, \dots, X_n\in\R$ $F(x_1, x_2, \dots, x_n)=F_{X_1}(x_1)F_{X_2}(x_2)\cdots F_{X_n}(x_n)$
    $X_1, X_2, \dots, X_n$ 相互独立
  - 两个向量的独立性
    $(X_1, X_2, \dots, X_m)\sim F_1(x_1, x_2, \dots, x_m), (Y_1, Y_2, \dots, Y_n)\sim F_2(y_1, y_2,\dots, y_n)$
    $(X_1, X_2, \dots, X_m; Y_1, Y_2, \dots, Y_n)\sim F(x_1, x_2, \dots, x_m; y_1, y_2,\dots, y_n)$
    $\forall x_1, x_2, \dots, x_m, y_1, y_2,\dots, y_n\in \R$ $F(x_1, x_2, \dots, x_m; y_1, y_2,\dots, y_n)=F_1F_2$ $(X_1, X_2, \dots, X_m), (Y_1, Y_2, \dots, Y_n)$ 相互独立
  - 定理
    $(X_1, X_2, \dots, X_m), (Y_1, Y_2, \dots, Y_n)$ 相互独立，则
    1. $X_i, Y_j$ 相互独立
    2. $h, g$ $m$ $n$ 元的连续函数，则
      $h(X_1, X_2, \dots, X_m), g(Y_1, Y_2, \dots, Y_n)$ 依然相互独立

3.5 条件分布

3.5.1 条件频率函数

定义
$(X, Y)$ $p_{ij}$ $j$ $P(Y=y_j)=p_{\cdot j}>0$
$P_{X|Y}(X_i, Y_j)=P(X=x_i|Y=y_j)=\frac{p_{ij}}{p_{\cdot j}}$ $Y=y_j$ $X$ 的条件频率函数
$P_{Y|X}(y_j|x_i)$ 同理
性质
1. 非负性
2. 正则性

3.5.2 条件概率密度

定义
$(X, Y)$ $f(x, y)$ $y_0$ $(X, Y)$ $Y$ $f_Y(y_0)>0$ ，则称
$\frac{f(x, y)}{f_Y(y_0)}=f_{X|Y}(x|y_0), x\in\R$ $Y=y_0$ $X$ 的条件密度
$F_{X|Y}(x|y_0)=\int_{\infin}^x f_{X|Y}(u|y_0)du$ $Y=y_0$ $X$ 的条件分布
性质
1. 非负性
2. 正则性
  $\int_{-\infin}^\infin f_{X|Y}(u|y)du=\int_{-\infin}^\infin\frac{f(u, y)}{f_Y(y)}du=\frac{1}{f_Y(y)}\int_{-\infin}^\infin f(u, y)du=\frac{1}{f_Y(y)}f_Y(y)=1$
连续情形的全概率公式
$f_{Y|X}(y|x)=\frac{f(x, y)}{f_X(x)}\Rightarrow f(x, y)=f_{Y|X}(y|x)f_X(x)$
$x$ $\Rightarrow f_Y(y)=\int_{-\infin}^{\infin}f_{Y|X}(y|x)f_X(x)dx$ （边际分布的定义）
平面上的均匀分布
$G$ $A$ $(X, Y)$ 的概率密度为
$f(x, y)=\begin{cases}A & (x, y)\in G\\ 0 & 其他 \end{cases}$ $(X, Y)$ $G$ $(X, Y)\sim U(G)$
边际密度不一定是均匀分布

3.5.3 例题

$Y\sim N(0, 1)$ $X_1=\begin{cases}0 & |Y|\geqslant 1\\ 1 & |Y|<1 \end{cases}$ $X_2=\begin{cases}0 & |Y|\geqslant 2\\ 1 & |Y|<2 \end{cases}$ 的联合分布列
解：
$P(X_1=0, X_2=0)=P(|Y|\geqslant 2)=P(Y\geqslant 2 \lor Y\leqslant -2)=1-\Phi(2)+1-\Phi(2)=0.0455$
$P(X_1=0, X_2=1)=P(1\leqslant |Y|<2)=P(-2<Y\leqslant -1\lor 1\leqslant Y\leqslant 2)=\Phi(-1)-\Phi(-2)+\Phi(2)-\Phi(1)=2\Phi(2)-2\Phi(1)=0.2719$
$P(X_1=1, X_2=0)=P(|Y|<1, |Y|\geqslant 2)=0$
$P(X_1=1, X_2=1)=P(|Y|<1)=P(-1<Y<1)=\Phi(1)-\Phi(-1)=2\Phi(1)-1=0.6826$
$(X_1, X_2)$ 的分布列为
$X_1\backslash X_2$ 0 1
0 0.0455 0.2719
1 0 0.6826
$(X, Y)$ $D=\{(x, y)|x^2+y^2\leqslant 1 \}$ $X$ $f_X(x)$
解：
$F(x, y)=\begin{cases}\frac 1\pi & x^2+y^2\leqslant 1\\0 & 其他 \end{cases}$
$x>1$ $x<-1$ $f_X(x)=0$
$-1\leqslant x\leqslant 1$ $f_X(x)=\int_{-\sqrt{1-x^2}}^{\sqrt{1-x^2}}\frac 1\pi dy=\frac{2\sqrt{1-x^2}}{\pi}$
$X$ 的边际密度为
$f_X(X)=\begin{cases}\frac{2\sqrt{1-x^2}}{\pi} & -1\leqslant x\leqslant 1\\ 0 & 其他 \end{cases}$
$(X, Y)$ $f(x, y)=\begin{cases}e^{-y} & 0<x<y\\0 & 其他 \end{cases}$ $P(X+Y\leqslant 1)$
解：
$P(X+Y\leqslant 1)=\int_{0}^{\frac 12}\int_x^{1-x}e^{-y}dydx=1+e^{-1}-2e^{-\frac 12}$

$X_1\backslash X_2$	0	1
0	0.0455	0.2719
1	0	0.6826

3.6 联合分布随机变量函数

$Z=X+Y$

卷积公式
$X, Y$ $Z=X+Y$ 的密度函数为
$f_Z(z)=\int_{-\infin}^\infin f_X(z-y)f_Y(y)dy$
$f_Z(z)=\int_{-\infin}^\infin f_X(x)f_Y(z-x)dx$
$=f_X\ast f_Y$
- 证明：
  $F_Z(z)=P(Z\leqslant z)=P(X+Y\leqslant Z)=\iint_{x+y\leqslant z}f(x, y)dxdy$
  $\int_{-\infin}^\infin\int_{-\infin}^{z-y}f(x, y) dxdy\xlongequal{x=u-y}\int_{-\infin}^\infin\int_{-\infin}^z f(u-y, y)dudy=\int_{-\infin}^z[\int_{-\infin}^\infin f(u-y, y) dy]du$
  $\therefore f_Z(z)=F'_Z(z)=\int_{-\infin}^\infin f(z-y, y)dy=\int_{-\infin}^\infin f(x, z-x)dx$
独立正态随机变量的和
- $X\sim N(\mu_1, \sigma_1^2), Y\sim N(\mu_2, \sigma_2^2)$ $X, Y$ 独立
  $X+Y\sim N(\mu_1+\mu_2, \sigma_1^2+\sigma_2^2), X-Y\sim N(\mu_1-\mu_2, \sigma_1^2+\sigma_2^2)$
- $X_1, X_2, \dots, X_n$ $X_i\sim N(\mu_i, \sigma_i^2), i=1, 2\dots, n$
  $a_1, a_2, \dots, a_n$ 有
  $a_1X_1+a_2X_2+\cdots+a_nX_n\sim N(\sum_{i=1}^n a_i\mu_i,\sum_{i=1}^n a_i^2\sigma_i^2)$

$X, Y$ $f(x)=\begin{cases}\frac{10-x}{50} & 0\leqslant x\leqslant 10\\0 & 其他 \end{cases}$
$Z=X+Y$ 的概率密度
解：
$f_Z(z)=\int_{-\infin}^\infin f(x)f(z-x)dx$
$\begin{cases}0\leqslant x\leqslant 10\\0\leqslant z-x\leqslant 10 \end{cases}\Rightarrow \begin{cases}0\leqslant x\leqslant 10\\x\leqslant z\leqslant x+10 \end{cases}$
$\therefore f_Z(z)=\begin{cases}\int_0^z f(x)f(z-x)dx & 0\leqslant z\leqslant 10\\ \int_{z-10}^{10} f(x)f(z-x)dx & 10\leqslant z\leqslant 20\\0 & 其他 \end{cases}=\begin{cases}\frac{z^3-60z^2+600z}{15000} & 0\leqslant z\leqslant 10\\\frac{(20-z)^3}{15000} & 10\leqslant z\leqslant 20\\ 0 & 其他 \end{cases}$

$Z=X+Y$

卷积公式（离散）
$X, Y$ $P(X=i)=p_i, P(Y=j)=q_j\ (i, j=1, 2, \dots)$
$Z=X+Y$ 的频率为
$P(Z=k)=\sum_{i=1}^{k-1} P(X=i)P(Y=k-i)=\sum_{i=1}^{k-1} P(X=k-i)P(Y=i), k=1, 2, \dots$

$X, Y$ $X\sim P(\lambda_1), Y\sim P(\lambda_2)$ $Z=X+Y$ 的分布
解：
由离散卷积公式
$P(Z=k)=\sum_{i=0}^k P(X=k-i)P(Y=i)=\sum_{i=0}^k\frac{\lambda_1^{k-i}}{(k-i)!}e^{-\lambda_1}\cdot \frac{\lambda_2^i}{i!}e^{-\lambda_2}$
$=e^{-(\lambda_1+\lambda_2)}\sum_{i=0}^k\frac{1}{i!(k-i)!}\lambda_1^{k-i}\lambda_2^i\xlongequal{二项分布}e^{-(\lambda_1+\lambda_2)}\frac{1}{k!}\sum_{i=0}^k\frac{k!}{i!(k-i)!}\lambda_1^{k-i}\lambda_2^i$
$\xlongequal{二项式}e^{-(\lambda_1+\lambda_2)}\frac{(\lambda_1+\lambda_2)^k}{k!}$
$\therefore Z\sim P(\lambda_1+\lambda_2)$

$Z=\frac XY$ 的分布

$Z=\frac XY$ 的计算
$(X, Y)\sim f(x, y), F_Z(z)=P(\frac XY\leqslant z)=\iint_{\frac xy\leqslant z}f(x, y)dxdy$
$F_Z(z)=\int_0^\infin\int_{-\infin}^{yz}f(x, y)dxdy$
$u=\frac xy, y=y$ $|J|=|\begin{vmatrix} y & u \\ 0 & 1 \end{vmatrix}|=|y|\ (x=uy)$
$F_Z(z)=\int_{-\infin}^z(\int_{-\infin}^\infin f(uy, y)|y|dy)du$
$\therefore f_Z(z)=\int_{-\infin}^\infin f(zy, y)|y|dy$
$X, Y$ $f_Z(z)=\int_{-\infin}^\infin f_X(zy)f_Y(y)|y|dy$
柯西分布
$f (x; x_{0}, γ) = \frac{1}{π γ [1 + (\frac{x - x_{0}}{γ})^{2}]}, x \in R$

$X, Y$ $f(x)=\begin{cases}e^{-x} & x>0\\ 0 & x\leqslant 0 \end{cases}$ $Z=\frac XY$ 的密度
解：
$Z\geqslant 0$ $Z$ $F_Z(z)=P(\frac XY\leqslant Z)=\iint_{\frac xy\leqslant z, x, y>0}e^{-(x+y)}dxdy$
$=\int_0^\infin\int_0^{yz}e^{-(x+y)}dxdy=\int_0^\infin e^{-y}(1-e^{-yz})dy=1+\frac{1}{1+z}$
$f_Z(z)=F_Z'(z)=\frac{1}{(1+z)^2}, z>0$
综上，
$f_Z(z)=\begin{cases}\frac{1}{(1+z)^2} & z>0\\ 0 & z\leqslant 0 \end{cases}$
$X, Y$ $Z=\frac YX$ 的概率密度
解：
$Z=\frac YX$ $f_Z(z)=\int_{-\infin}^\infin f(x, xz)|x|dx=\int_{-\infin}^\infin\frac{|x|}{2\pi}e^{-\frac{x^2}{2}-\frac{x^2z^2}{2}}dx$
$=\frac {1}{\pi}\int_0^\infin xe^{-x^2\frac{z^2+1}{2}}$
$u=x^2$ $f_Z(z)=\frac{1}{2\pi}\int_0^\infin e^{-u\frac{z^2+1}{2}}du=\frac{1}{\pi(z^2+1)}$ $\int_0^\infin \lambda e^{-\lambda x}dx=1, \lambda=\frac{z^2+1}{2}$ ）
$\therefore f_Z(z)=\frac{1}{\pi(z^2+1)}, z\in\R$ 服从标准柯西分布

3.6.4 两个随机变量变换的分布

$X_1, X_2$ $Y_1=X_1, Y_2=X_1+X_2$
$(Y_1, Y_2)\sim N(0, 0, 1, 2, \sqrt\frac 12)$
- 推论 1：两个独立标准正态 r.v. 的线性变换服从二元正态分布
- 推论 2：两个 r.v. 的联合分布是二元正态分布，则它们的非奇异线性变换仍服从二元正态分布

$X, Y$ $f(x)=\begin{cases}e^{-x} & x\geqslant 0\\0 & x<0 \end{cases}$
$U=X+Y, V=\frac XY$ $U, V$ 独立
解：
$F_{UV}(u, v)=P(X+Y\leqslant U, \frac XY\leqslant V)=\iint_{\begin{cases}x+y\leqslant u\\ \frac xy\leqslant v\\ x, y\geqslant 0 \end{cases}}f(x)f(y)dxdy$
$x+y=s, \frac xy=t$ $x=\frac{st}{1+t}, y=\frac{s}{1+t}$
$\therefore J=\begin{vmatrix}\frac{\partial x}{\partial s} & \frac{\partial x}{\partial t}\\ \frac{\partial y}{\partial s} & \frac{\partial y}{\partial t} \end{vmatrix}=-\frac{s}{(t+1)^2}, s\geqslant 0, t\neq -1$
$\therefore F_{UV}(u, v)=\iint_{\begin{cases}x+y\leqslant u\\ \frac xy\leqslant v\\ x, y\geqslant 0 \end{cases}}e^{-(x+y)}dxdy=\int_0^v\int_0^u e^{-s}|J|dsdt=\frac{ue^{-u}}{(1+v)^2}, u, v\geqslant 0$
$\because F_{UV}(u, v)$ $g(u)h(v)=ue^{-u}\cdot \frac{1}{(1+v)^2}$
$\therefore U, V$ 相互独立

3.6.5 随机变量的其他函数

变量变换法：

$(X, Y)$ $(U, V)$ $(X, Y)$ $U=g_1(X, Y), V=g_2(X, Y)$ $(U, V)$ 的分布：

$\begin{cases}u=g_1(x, y)\\ v=g_2(x, y) \end{cases}$ $\begin{cases}x=x(u, v)\\ y=y(u, v) \end{cases}$

$(U, V)$ $p_{UV}(u, v)=p_{XY}[x(u, v), y(u, v)]|J|$

$J=\begin{vmatrix}\frac{\partial x}{\partial u} & \frac{\partial x}{\partial v}\\ \frac{\partial y}{\partial u} & \frac{\partial y}{\partial v} \end{vmatrix}$

$X, Y$ $f_X(x), f_Y(y)$ $U=XY$ 的密度函数
解：
$V=Y$
$\begin{cases}u=xy\\ v=y \end{cases}\Rightarrow \begin{cases}x=\frac uy\\ y=v \end{cases}$
$\therefore J=\begin{vmatrix}\frac 1v & -\frac{u^2}{v}\\ 0 & 1 \end{vmatrix}=\frac 1v$
$\therefore f(u, v)=f_X(\frac uv)f_Y(v)|J|=f_X(\frac uy)f_Y(y)\frac{1}{|y|}$
$\therefore f_U(u)=\int_{-\infin}^\infin f(u, v)dv=\int_{-\infin}^\infin f_X(\frac uy)f_Y(y)\frac{1}{|y|}$

解题步骤：

设变量
$X=, Y=$
$|J|$
$f(u, v)=f_X(\cdots)f_Y(\cdots)|J|$
$f_U(u)$

$X, Y$ $N(0, \sigma^2)$ $Z=\sqrt{X^2+Y^2}$ 的概率密度
解：
$Z\geqslant 0$ $Z$ 的分布函数为
$F_Z(z)=P(\sqrt{X^2+Y^2}\leqslant z)=\iint_{\sqrt{X^2+Y^2}\leqslant z}f_X(x)f_Y(y)dxdy=\frac{1}{2\pi\sigma^2}\iint_D e^{-\frac{x^2+y^2}{2\sigma^2}}dxdy$
换极坐标
$F_Z(z)=\int_{0}^{2\pi}\int_0^z \frac{1}{2\pi\sigma^2} e^{-\frac{\rho^2}{2\sigma^2}}d\rho d\theta=\int_0^z \frac{\rho}{\sigma^2}e^{-\frac{\rho^2}{2\sigma^2}}d\rho=\int_0^z e^{-\frac{\rho^2}{2\sigma^2}}d\frac{\rho^2}{2\sigma^2}=1-e^{-\frac{z^2}{2\sigma^2}}$
$\therefore f_Z(z)=F_Z'(z)=\begin{cases}\frac{z}{\sigma^2}e^{-\frac{z^2}{2\sigma^2}} & z\geqslant 0\\ 0 & z<0 \end{cases}$
这样的分布称为瑞利分布
$X, Y$ $X\sim U(0, 1), Y\sim EXP(1)$ $Z=X+Y$ 的密度
解：
$f_X(x)=\begin{cases}1 & 0\leqslant x\leqslant 1\\ 0 & 其他 \end{cases}, f_Y(y)=\begin{cases}e^{-y} & y>0\\ 0 & y\leqslant 0 \end{cases}$
$f_Z(z)=\int_{-\infin}^\infin f_X(x)f_Y(z-x)dx$
$\begin{cases}0\leqslant x\leqslant 1\\ y=z-x>0 \end{cases}\Rightarrow \begin{cases}0\leqslant x\leqslant 1\\ z>x\end{cases}$
$\therefore f_Z(z)=\begin{cases}\int_0^z f_X(x)f_Y(z-x)dx & 0\leqslant z\leqslant 1\\ \int_0^1 f_X(x)f_Y(z-x)dx & z>1\\ 0 & z<0 \end{cases}=\begin{cases}1-e^{-z} & 0\leqslant z\leqslant 1\\ e^{-z}(e-1) & z>1\\ 0 & z<0 \end{cases}$
$f_Z(z)=\int_{-\infin}^\infin f_X(z-y)f_Y(y)dy$
$\begin{cases}0\leqslant z-y\leqslant 1\\ y>0 \end{cases}\Rightarrow \begin{cases}z-1\leqslant y\leqslant z\\ y>0\end{cases}$
$f_Z(z)=\begin{cases}\int_0^z e^{-y}dy & 0\leqslant z\leqslant 1\\ \int _{z-1}^z e^{-y}dy & z>1\\ 0 & z<0 \end{cases}=\begin{cases}1-e^{-z} & 0\leqslant z\leqslant 1\\ e^{-z}(e-1) & z>1\\ 0 & z<0 \end{cases}$

3.7 极值和顺序统计量

$\max(X, Y)$ $\min(X, Y)$ 的分布

$X\sim F_X(x), Y\sim F_Y(y)$ $X, Y$ 独立
$F_{\max}(z)=P(\max(X, Y)\leqslant z)=P(X\leqslant z, Y\leqslant z)=F_X(z)F_Y(z)$
$F_{\min}(z)=P(\min(X, Y)\leqslant z)=1-P(\min(X, Y)>z)=1-P(X>z, Y>z)=1-[1-F_X(z)]\cdot[1-F_Y(z)]$
$X_i\sim F_{X_i}(x), i=1, 2, \dots, n$ $X_1, X_2, \dots, X_n$ 相互独立
$F_{\max}(z)=P(\max(X_1, X_2, \dots, X_n)\leqslant z)=\prod_{i=1}^n F_{X_i}(z)$
$F_{\min}(z)=P(\min(X_1, X_2, \dots, X_n)\leqslant z)=1-\prod_{i=1}^n [1-F_{X_i}(z)]$
- $X_1, X_2, \dots, X_n$ 独立同分布时
  $F_{\max}(z)=[F(z)]^n$
  $F_{\min}(z)=1-[1-F(z)]^n$
  $f_{\max}(z)=n[F(z)]^{n-1}f(z)$
  $f_{\min}(z)=n[1-F(z)]^{n-1}f(z)$
$X, Y$ $f(x)$
$f_{\max}(z)=F'_{\max}(z)=2f(z)F(z)=2f(z)\int_{-\infin}^z f(t)dt$
$f_{\min}(z)=F'_{\min}(z)=2f(z)[1-F(z)]=2f(z)[1-\int_{-\infin}^z f(t)dt]$

$X_{(k)}$ 的分布

概念
$X_1, X_2, \dots, X_n$ $X_{(1)}, X_{(2)}, \dots, X_{(n)}$
$X_{(1)}=\min\{X_1, X_2, \dots, X_n\}$ $X_{(n)}=\max\{X_1, X_2, \dots, X_n\}$
$n=2m+1$ $X_{(m+1)}$
$X_{(k)}$ 的密度
$P(x\leqslant X_{(k)}\leqslant x+dx)=P(第k个在 x\sim x+dx)P(k-1 个在 x 左边)P(n-k 个在 x 右边)$
$=\int_{x}^{x+dx} f(x)dx\cdot F^{k-1}(x)\cdot[1-F(x)]^{n-k}\cdot C_n^1C_{n-1}^{k-1}$
$=f(x)dx\cdot F^{k-1}(x)\cdot[1-F(x)]^{n-k}\cdot C_n^1C_{n-1}^{k-1}=f_k(x)dx$
$\therefore f_k(x)=\frac{n!}{(k-1)!(n-k)!}f(x)F^{k-1}(x)[1-F(x)]^{n-k}$
$[0, 1]$ $f_k(x)$
$F(x)=\begin{cases}x & 0\leqslant x\leqslant 1\\ 0 & 其他 \end{cases}$
$f_k(x)=\frac{n!}{(k-1)!(n-k)!}x^{k-1}(1-x)^{n-k}, 0\leqslant x\leqslant 1$ $Beta(k, n-k+1)$
推论：因为密度函数积分 = 1
$\int_{0}^{1} x^{k - 1} (1 - x)^{n - k} d x = \frac{(k - 1)! (n - k)!}{n!}$
$U=X_{(n)}, V=X_{(1)}$ $f(u, v)$
$P(v\leqslant X_{(1)}\leqslant v+dv, u\leqslant X_{(n)}\leqslant u+du)=C_n^1C_{n-1}^1\cdot f(v)dv\cdot[F(u)-F(v)]^{n-2}\cdot f(u)du=f(u, v)dudv$
$\therefore f(u, v)=n(n-1)f(u)f(v)[F(u)-F(v)]^{n-2}, u\geqslant v$
$U(0, 1): f(u, v)=n(n-1)(u-v)^{n-2}, 0\leqslant v\leqslant u\leqslant 1$

3.8 第三章习题

$(X, Y)$ $f(x, y)=\begin{cases}e^{-x-y} & x>0, y>0\\ 0 & 其他 \end{cases}$ $X, Y$ 是否独立
$f(x, y)$ $f_X(x)f_Y(y)$
求边际密度：
$f_X(x)=\int_{-\infin}^\infin f(x, y)dy=\int_0^\infin e^{-x-y}dy=e^{-x}, x>0$
$f_Y(y)=\int_{-\infin}^\infin f(x, y)dx=\int_0^\infin e^{-x-y}dx=e^{-y}, y>0$
$\therefore f(x, y)=f_X(x)f_Y(y)$ $X, Y$ 独立
$(X, Y)$ $f(x, y)$ $X, Y$ $f(x, y)$ $f(x, y)=g(x)h(y)$
证明：
$X, Y$ $\Rightarrow f(x, y)=f_X(x)f_Y(y)$
$a=\int_{-\infin}^\infin g(x)dx, b=\int_{-\infin}^\infin h(y)dy$
$\therefore ab=\int_{-\infin}^\infin\int_{-\infin}^\infin g(x)h(y)dxdy=\int_{-\infin}^\infin\int_{-\infin}^\infin f(x, y)dxdy=1$
$f_X(x)=\int_{-\infin}^\infin f(x, y)dy=g(x)\int_{-\infin}^\infin h(y)dy=b\cdot g(x)$
$f_Y(y)=\int_{-\infin}^\infin f(x, y)dx=h(y)\int_{-\infin}^\infin g(x)dx=a\cdot h(y)$
$\therefore f_X(x)f_Y(y)=ab\cdot g(x)h(y)=f(x, y)$
$\therefore X, Y$ 独立
$(X, Y)$ $G: x^2+y^2\leqslant 1$ $f_{X|Y}(x|y)$
解：
$f(x, y)=\begin{cases}\frac 1\pi & x^2+y^2\leqslant 1\\ 0 & 其他 \end{cases}$
$f_Y(y)=\int_{-\sqrt{1-y^2}}^{\sqrt{1-y^2}} \frac 1\pi dx=\begin{cases}\frac{2\sqrt{1-y^2}}{\pi} & -1\leqslant y\leqslant 1\\0 & 其他 \end{cases}$
$\therefore f_{X|Y}(x|y)=\begin{cases}\frac{f(x, y)}{f_Y(y)}=\begin{cases}\frac{1}{2\sqrt{1-y^2}} & -\sqrt{1-y^2}\leqslant x\leqslant \sqrt{1-y^2}\\0 & 其他 x \end{cases} & -1\leqslant y\leqslant 1\\ 0 & 其他 \end{cases}$

第四章随机变量的数字特征

4.1 随机变量的期望

4.1.1 离散型随机变量的期望

$X$ 的频率函数为
$X$ $x_1$ $x_2$ $\cdots$
$p$ $p_1$ $p_2$ $\cdots$
$\sum_{k=1}^\infin |x_k|p_k<\infin$ $E(X)=\sum_{k=1}^\infin x_kp_k$ $X$ 的数学期望
几种分布的期望
$X$ $E(X)$
$P(\lambda)$ $\lambda$
$b(n, p)$ $np$

$X$	$x_1$	$x_2$	$\cdots$
$p$	$p_1$	$p_2$	$\cdots$

$X$	$E(X)$
$P(\lambda)$	$\lambda$
$b(n, p)$	$np$

4.1.2 连续型随机变量的期望

定义
$\int_{-\infin}^\infin |x|f(x)dx<\infin$ $E(X)=\int_{-\infin}^\infin xf(x)dx$ $X$ 的期望
几种分布的期望
$X$ $E(X)$
$U(a, b)$ $\frac{a+b}{2}$
$N(\mu, \sigma^2)$ $\mu$
$EXP(\lambda)$ $\frac 1\lambda$
柯西分布不存在
马尔科夫不等式
$X$ $P(X\geqslant 0)=1$ $E(X)$ $P(X\geqslant t)\leqslant \frac{E(X)}{t}$
证明：
$E(X)=\int_0^\infin xf(x)dx=\int_0^t xf(x)dx+\int_t^\infin xf(x)dx$
$\geqslant \int_t^\infin xf(x)dx\geqslant t\int_t^\infin f(x)dx=tP(X\geqslant t)$
$\therefore P(X\geqslant t)\leqslant \frac{E(X)}{t}$

$X$	$E(X)$
$U(a, b)$	$\frac{a+b}{2}$
$N(\mu, \sigma^2)$	$\mu$
$EXP(\lambda)$	$\frac 1\lambda$
柯西分布	不存在

4.1.3 随机变量函数的期望

$Y=g(X)$ $Y$ 的期望为
- $X$ 离散
  $E(Y)=\sum_{k=1}^\infin g(x_k)p_k$
- $X$ 连续
  $E(Y)=\int_{-\infin}^\infin g(x)f(x)dx$
$E(Z)=\int_{-\infin}^\infin\int_{-\infin}^\infin g(x, y)f(x, y)dxdy$
$f(x, y)$
- $E(X)=\int_{-\infin}^\infin\int_{-\infin}^\infin xf(x, y)dxdy$
- $E(Y)=\int_{-\infin}^\infin\int_{-\infin}^\infin yf(x, y)dxdy$

4.1.4 数学期望的基本性质

$a\leqslant X\leqslant b$ $a\leqslant E(X)\leqslant b$
$c$ $E(cX)=cE(X)$
$E(X+Y)=E(X)+E(Y)$
$E[g_1(X)\pm g_2(X)]=E[g_1(X)]\pm E[g_2(X)]$
2, 3 为期望的线性性质，即线性变换的期望等于期望的线性变换
$X, Y$ $E(XY)=E(X)E(Y)$
逆命题不成立
$E(XY)=Cov(X, Y)+E(X)E(Y)=\iint xyf(x, y)dxdy$

推论 1
$X=c$ $E(X)=c$
推论 2
$a_1, a_2, \dots, a_n$ $X_1, X_2, \dots, X_n$ $E(\sum_{i=1}^n a_iX_i)=\sum_{i=1}^n a_iE(X_i)$
推论 3
$X_1, X_2, \dots, X_n$ $E(X_1X_2\cdots X_n)=E(X_1)E(X_2)\cdots E(X_n)$

$X$ $E(X)$
解：
$X_i=\begin{cases}1 & 第 i 站有人下车\\ 0 & 第 i 站没人下车 \end{cases}$
$\because X_i=0\Leftrightarrow 20$ $i$ 站下车
$\therefore P(X_i=0)=(\frac {9}{10})^{20}, P(X_i=1)=1-(\frac{9}{10})^{20}, i=1, 2, \dots, 10$
$\therefore E(X_i)=0\cdot(\frac {9}{10})^{20}+1\cdot [1-(\frac {9}{10})^{20}]=1-(\frac {9}{10})^{20}$
$\therefore E(X)=10E(X_i)=8.784$
$E(X)=\sum_{k=0}^n \frac{C_M^kC_{N-M}^{N-k}}{C_N^n}=n\frac MN$
$f(x)=\begin{cases}2x & 0<x<1\\ 0 & 其他 \end{cases}$
$E(2X-1)$ $E[(x-2)^2]$
$E(X)$ (2) 性质
(1)
$E(X)=\int_0^1 x\cdot 2xdx=\frac 23$
$\therefore E(2X-1)=2E(X)-1=\frac 13$
(2)
$E(X^2)=\int_0^1 x^2\cdot 2xdx=\frac 12$
$\therefore E[(x-2)^2]=E(x^2-4x+4)=E(X^2)-4E(X)+4=\frac{11}{6}$

4.2 方差与标准差

定义
1. 方差
  $X$ $D(X)=Var(X)=E[X-E(X)]^2$ $D(X)$ $X$ 的方差
2. 标准差
  $\sigma_X=\sqrt{D(X)}$ 量纲同随机变量的量纲
3. 意义
  $X$ 偏离均值的平均大小
  离散程度，越大越分散
计算
1. 离散型
  $P(X=X_k)=p_k$ $D(X)=\sum_{k=1}^n[X_k-E(X)]^2\cdot p_k$
2. 连续型
  $X$ $f(x)$ $D(X)=\int_{-\infin}^\infin[X-E(X)]^2f(x)dx$
3. $D(X)=E(X^2)-E^2(X)$
- $X\sim P(\lambda)$ $D(X)$
  解：
  $E(X)=\lambda$
  $E(X^2)=E[X(X-1)+X]=E(X)+E[X(X-1)]=\lambda+\sum_{k=0}^\infin k(k-1)\frac{\lambda^k}{k!}e^{-\lambda}$
  $=\lambda+\lambda^2\cdot e^{-\lambda}\sum_{k=2}^\infin \frac{\lambda^{k-2}}{(k-2)!}=\lambda+\lambda^2\cdot e^{-\lambda}\cdot e^\lambda=\lambda+\lambda^2$
  $\therefore D(X)=E(X^2)-E^2(X)=\lambda$
- $X\sim U(a, b)$ $D(X)$
  解：
  $E(X)=\frac{a+b}{2}$
  $E(X^2)=\int_a^b x^2f(x)dx=\int_a^b\frac{x^2}{b-a}dx=\frac{a^2+ab+b^2}{3}$
  $\therefore D(X)=E(X^2)-E^2(X)=\frac{(b-a)^2}{12}$
- $f(x)=\begin{cases}x & 0\leqslant x\leqslant 1\\ 2-x & 1<x<2\\ 0 & 其他 \end{cases}$ $E(X), D(X)$
  解：
  $E(X)=\int_0^1 x\cdot x dx+\int_1^2 x\cdot(2-x)dx=1$
  $E(X^2)=\int_0^1 x^2\cdot x dx+\int_1^2 x^2\cdot(2-x)dx=\frac 76$
  $D(X)=E(X^2)-E^2(X)=\frac 16$
方差的性质
1. $X=c, D(X)=0$
  $D(X)=0$ $X=c$ $P(X=\mu)=1$
2. $D(cX)=c^2D(X)$
  $D(aX+b)=a^2D(X)$ ，上下移动不影响方差
3. $D(X\pm Y)=D(X)+D(Y)\pm 2E[(X-E(X))(Y-E(Y))]=D(X)+D(Y)\pm 2Cov(X, Y)$
  $X, Y$ $D(X\pm Y)=D(X)\pm D(Y)$
几种分布的方差
- $X\sim U(a, b), D(X)=\frac{(b-a)^2}{12}$
- $X\sim P(\lambda), D(X)=\lambda$
- $X\sim EXP(\lambda), D(X)=\frac{1}{\lambda^2}$
- $X\sim b(n, p), D(X)=np(1-p)$
- $X\sim N(\mu, \sigma^2), D(X)=\sigma^2$
切比雪夫不等式
$E(X)=\mu, D(X)=\sigma^2$ $\forall\varepsilon>0, P(|X-\mu|\geqslant\varepsilon)\leqslant\frac{\sigma^2}{\varepsilon^2}$
证明：
$(X-\mu)^2$ 应用马尔科夫不等式：
$P((X-\mu)^2\geqslant\varepsilon^2)\leqslant\frac{E(X-\mu)^2}{\varepsilon^2}=\frac{\sigma^2}{\varepsilon^2}$
$(X-\mu)^2\geqslant\varepsilon^2$ $|X-\mu|\geqslant \varepsilon$
$\therefore P(|X-\mu|\geqslant\varepsilon)\leqslant\frac{\sigma^2}{\varepsilon^2}$

4.3 协方差与相关系数

4.3.1 协方差

定义
$X, Y$ $Cov(X, Y)=E[(X-E(X))(Y-E(Y))]$ $X, Y$ 的协方差
性质
1. $X, Y$ $\Rightarrow Cov(X, Y)=0$
2. $Cov(X, Y)=Cov(Y, X)$
3. $D(X)=E[X-E(X)]^2=Cov(X, X)$
4. $Cov(X, Y)=E(XY)-E(X)E(Y)$
5. $Cov(aX, bY)=abCov(X, Y)$
6. $Cov(X_1+X_2, Y)=Cov(X_1, Y)+Cov(X_2, Y)$
7. 双线性性
  $U=a+\sum_{i=1}^nb_iX_i, V=c+\sum_{j=1}^m d_jY_j$
  $Cov(U, V)=\sum_{i=1}^n\sum_{j=1}^m b_id_j Cov(X_i, Y_j)$
8. $Cov(X, a)=0$

4.3.2 相关系数

定义
$X^\ast=\frac{X-E(X)}{\sqrt{D(X)}}, Y^\ast=\frac{Y-E(Y)}{\sqrt{D(Y)}}$
$\rho_{XY}=Cov(X^\ast, Y^\ast)=\frac{Cov(X, Y)}{\sqrt{D(X)D(Y)}}$ $X, Y$ $Corr(X, Y)$
或者用公式：
$r = \frac{\sum_{i = 1}^{n} (X_{i} - \bar{X}) (Y_{i} - \bar{Y})}{\sqrt{\sum_{i = 1}^{n} (X_{i} - \bar{X})^{2} \sum_{i = 1}^{n} (Y_{i} - \bar{Y})^{2}}}$
均方误差
$\hat Y=a+bX$ $e=E[(Y-\hat Y)^2]$
$e$ $\begin{cases}b_0=\frac{Cov(X, Y)}{D(X)}\\ a_0=E(Y)-bE(X)=E(Y)-E(X)\frac{Cov(X, Y)}{D(X)} \end{cases}$
$\min_{a, b}e=D(Y)(1-\rho_{XY}^2)$
性质
1. $-1\leqslant\rho_{XY}\leqslant 1$
2. $|\rho_{XY}|=1\Leftrightarrow Y=a+bX$ 几乎处处线性相关
3. $\rho_{XY}=1, X, Y$ 正相关
  $\rho_{XY}=-1, X, Y$ 负相关
  $\rho_{XY}=0, X, Y$ 不相关
  不相关指的是没有线性关系
4. $(X, Y)\sim N(\mu_1, \mu_2, \sigma_1^2, \sigma_2^2, \rho)$ $\rho_{XY}=\rho$
5. 独立与不相关
  独立一定不相关，不相关不一定独立
  独立：没有任何关系
  不相关：没有线性关系
  特例：二维正态

4.3.3 矩

$k$ $k$ 阶矩）
$E(X^k), k=1, 2,\dots$
$k$ 阶中心矩
$E[(X-E(X))^k], k=2, 3,\dots$
$k+\ell$ 阶混合矩
$E(X^kY^\ell), k, \ell=1, 2, \dots$
$k+\ell$ 阶混合中心矩
$E[(X-E(X))^k(Y-E(Y))^\ell], k, \ell=1, 2, \dots$
$E(X)$ ：一阶矩
$D(X)$ ：二阶中心矩
$Cov(X, Y)$ ：二阶中心混合矩

4.3.4 协方差矩阵

定义
$(X_1, X_2)$ ，记
$c_{11}=E[(X_1-E(X_1))^2]=D(X_1)$
$c_{12}=E[(X_1-E(X_1))(X_2-E(X_2))]=Cov(X_1, X_2)$
$c_{21}=E[(X_2-E(X_2))(X_1-E(X_1))]=Cov(X_2, X_1)$
$c_{22}=E[(X_2-E(X_2))^2]=D(X_2)$
$C=Cov(X, X)=\begin{bmatrix}c_{11} & c_{12}\\ c_{21} & c_{22} \end{bmatrix}$ $X=(X_1, X_2)$ 的协方差矩阵
性质
1. $C=C^T$
2. $C\geqslant 0$

4.4 条件期望

定义
$X=x$ $Y$ 的条件期望定义为
- 离散
  $E(Y|X=x)=\sum_y yp_{Y|X}(y|x)$
- 连续
  $E(Y|X=x)=\int_{-\infin}^\infin yf_{Y|X}(y|x)dy$
  $x$ 的函数
  $X=x$ $E(Y|X=x)$ 随之变化，是 r.v.
$Y$ $h(Y)$ 的期望
- 离散
  $E[h(Y)|X=x]=\sum_y h(y)p_{Y|X}(y|x)$
- 连续
  $E(Y|X=x)=\int_{-\infin}^\infin h(y)f_{Y|X}(y|x)dy$
性质
1. 全期望公式
  $E(Y)=E[E(Y|X)]$
  $X$ $Y$
  证明（离散情形）：
  $E[E(Y|X)]=\sum_xE(Y|X=x)p_X(x)=\sum_x[\sum_y yp_{Y|X}(y|x)]p_X(x)$
  $=\sum_yy\sum_xp_{Y|X}(y|x)p_X(x)\xlongequal{全概率公式}\sum_yyp_Y(y)=E(Y)$
2. $D(Y)=D[E(Y|X)]+E[D(Y|X)]$
  - 随机和
    $T=\sum_{i=1}^N X_i$ $N$ $X_i(i=1, 2,\dots)$ $E(X)$ $D(X)$ $X_i$ $N$ 独立
  - $N$ $i$ $X_i$
  - 计算
    $E(T|N=n)=E(\sum_{i=1}^n X_i)=\sum_{i=1}^n E(X)=nE(X)$
    $\therefore E(T|N)=NE(X)$
    $\therefore E(T)=E[E(T|N)]=E[NE(X)]=E(X)E(N)$
    $N$ $N$ 的平均值乘以完成一个工作的平均时间
    $D[E(T|N)]=D[NE(X)]=E^2(X)D(N)$
    $D(T|N=n)=D(\sum_{i=1}^n X_i)=\sum_{i=1}^nD(X)=nD(X)$
    $\therefore D(T|N)=ND(X), E[D(T|N)]=E(N)D(X)$
    $\therefore D(T)=D[E(T|N)]+E[D(T|N)]=E^2(X)D(N)+E(N)D(X)$
    $T$ $N$ $X$ $N=n$ $D(T)=nD(X)$ ）

4.5 第四章习题

$n$ $n$ $X$ $E(X), D(X)$
解：
$X_i=\begin{cases}1 & 第i个人拿对自己的礼物\\0 & 第i个人未拿对自己的礼物 \end{cases}$
$X=\sum_{i=1}^n X_i$ $E(X_i)=1\cdot\frac 1n+0\cdot\frac{n-1}{n}=\frac 1n$
$\therefore E(X)=E(\sum_{i=1}^n X_i)=\sum_{i=1}^nE(X_i)=1$
$D(X)=\sum_{i=1}^n D(X_i)+2\sum_{i<j}Cov(X_i, X_j)$
$X_iX_j$ 的期望：
$X_iX_j$ 0 1
$p$ $1-\frac{1}{n(n-1)}$ $\frac{1}{n(n-1)}$
$\therefore E(X_iX_j)=\frac{1}{n(n-1)}$
$\therefore Cov(X_i, X_j)=\frac{1}{n(n-1)}-\frac 1n\cdot\frac 1n=\frac{1}{n^2(n-1)}$
$\because D(X_i)=E(X_i^2)-E^2(X_i)=\frac 1n-\frac{1}{n^2}=\frac{n-1}{n^2}$
$\therefore D(X)=n\frac{n-1}{n^2}+2\sum_{i<j}\frac{1}{n^2(n-1)}=\frac{n-1}{n}+2C_n^2\frac{1}{n^2(n-1)}=\frac{n-1}{n}+\frac 1n=1$
$(X, Y)$ $P(X=2Y)$ $Cov(X-Y, Y)$
$X\backslash Y$ 0 1 2
0 $\frac 14$ 0 $\frac 14$ $\frac 12$
1 0 $\frac 13$ 0 $\frac 13$
2 $\frac 1{12}$ 0 $\frac 1{12}$ $\frac 16$
$\frac 13$ $\frac 13$ $\frac 13$
解：
$P(X=2Y)=P(X=0, Y=0)+P(X=2, Y=1)=\frac 14$
$X, Y$ $XY$ 的分布
$XY$ 0 1 4
$p$ $\frac 7{12}$ $\frac 13$ $\frac 1{12}$
$\therefore E(X)=\frac 23, E(Y)=1, D(Y)=\frac 23, E(XY)=\frac 23$
$\therefore Cov(X-Y, Y)=Cov(X, Y)-Cov(Y, Y)=E(XY)-E(X)E(Y)-D(Y)=-\frac 23$
$(X, Y)\sim p(x, y)=\begin{cases}\frac 18(x+y) & 0<x<2, 0<y<2\\0 & 其他 \end{cases}$ $\rho_{XY}$
解：
$E(X)=E(Y)=\int_0^2\int_0^2x\cdot\frac 18(x+y)dxdy=\frac 76$
$E(X^2)=E(Y^2)=\int_0^2\int_0^2x^2\cdot\frac 18(x+y)dxdy=\frac 53$
$\therefore D(X)=D(Y)=\frac 53-\frac{49}{36}=\frac{11}{36}$
$E(XY)=\int_0^2\int_0^2xy\cdot\frac 18(x+y)dxdy=\frac 43$
$\therefore Cov(X, Y)=\frac 43-(\frac 76)^2=-\frac{1}{36}$
$\therefore \rho_{XY}=\frac{Cov(X, Y)}{\sqrt{D(X)D(Y)}}=-\frac{1}{11}$
$(X, Y)$ $p(x, y)=x+y, 0<x, y<1$ $E(X|Y=0.5)$
$f_{X|Y}(x|y)$
$0<y<1$ $f_{X|Y}(x|y)=\frac{p(x, y)}{p(y)}=\frac{x+y}{\int_0^1 (x+y) dx}=\frac{x+y}{\frac 12+y}$
$\therefore f_{X|Y}(x|y=\frac 12)=\begin{cases}x+\frac 12 & 0<x<1\\0 & 其他 \end{cases}$
$\therefore E(X|Y=0.5)=\int_0^1x(x+\frac 12)dx=\frac{7}{12}$
$E(Y), E[h(Y)]$ $E[h(Y)|Y]=h(Y)$
证明：
$E[h(Y)|Y]$ $h(Y)$ $g(Y)=E[h(Y)|Y]$
$\because\forall y\in\R, h(y)$ 为实数
$\therefore g(y)=E[h(Y)|Y=y]=E[h(y)|Y=y]=h(y)$ （常量的均值等于自己）
$g(Y)=E[h(Y)|Y]=h(Y)$
$X_1, X_2$ $\frac 1\theta$ $Y_1=4X_1-3X_2, Y_2=3X_1+X_2$ 的相关系数
$Cov(Y_1, Y_2)$
$E(X_1)=E(X_2)=E, D(X_1)=D(X_2)=D$ $X_1, X_2$ $Cov(X_1, X_2)=0$
$\therefore Cov(Y_1, Y_2)=Cov(4X_1-3X_2, 3X_1+X_2)=12Cov(X_1, X_1)-9Cov(X_1, X_2)+4Cov(X_1, X_2)-3Cov(X_2, X_2)$
$=12D-3D=9D$
$\therefore \rho_{Y_1Y_2}=\frac{Cov(Y_1, Y_2)}{\sqrt{D(Y_1)D(Y_2)}}=\frac{9D}{\sqrt{(16D+9D)(9D+D)}}=\frac{9}{50}\sqrt{10}$
结果与服从什么分布无关
$X$ $f(x)=\frac 1\pi\cdot\frac{1}{1+x^2}, x\in\R$ $E(X)$
解：
$\int_{-\infin}^\infin |x|f(x)dx=\frac{2}{\pi}\int_0^\infin\frac{1}{1+x^2}d(x^2)=\frac 1\pi\ln(1+x^2)|_0^\infin=\infin$
$\therefore E(X)$ 不存在

$X_iX_j$	0	1
$p$	$1-\frac{1}{n(n-1)}$	$\frac{1}{n(n-1)}$

$X\backslash Y$	0	1	2
0	$\frac 14$	0	$\frac 14$	$\frac 12$
1	0	$\frac 13$	0	$\frac 13$
2	$\frac 1{12}$	0	$\frac 1{12}$	$\frac 16$
	$\frac 13$	$\frac 13$	$\frac 13$

$XY$	0	1	4
$p$	$\frac 7{12}$	$\frac 13$	$\frac 1{12}$

第五章大数定律和中心极限定理

5.1 大数定律

5.1.1 背景

概率的产生
$\to$ $\to$ $\to$ $\to$ 概率
频率稳定性
$n$ $A$ $n_A$ $n\to\infin$ 时
$ξ_{n} = \frac{n_{A}}{n} \to p$
依概率收敛
$\xi_1, \xi_2, \dots, \xi_n$ $\forall\varepsilon>0$ $\lim_{n\to\infin}P(|\xi_n-\xi|\geqslant\varepsilon)=0$ $\{\xi_n\}$ $\xi$ $\xi_n\xrightarrow{P}\xi$
- $\lim_{n\to\infin}P(|\xi_n-\xi|\geqslant\varepsilon)=0 \Leftrightarrow \lim_{n\to\infin}P(|\xi_n-\xi|<\varepsilon)=1$
- 直观含义
  $n$ $|\xi_n-\xi|$ 较大的可能性越来越小
- $\xi_n=\frac{n_A}{n}\xrightarrow{P}\frac 12$

5.1.2 大数定律

伯努利大数定律
$n_A$ $n$ $A$ $P(A)=p$ $\forall\varepsilon>0$ ，有
$lim_{n \to \infty} P (| \frac{n_{A}}{n} - p | ⩾ ε) = 0$
- 频率会依概率收敛于概率
切比雪夫大数定律
$\{X_n\}$ $E(X_i)=\mu, D(X_i)=\sigma^2$ $\forall\varepsilon>0$ 有
$lim_{N \to \infty} P (| \frac{1}{n} \sum_{i = 1}^{n} X_{i} - μ | ⩾ ε) = 0$
辛钦大数定律
$\{X_n\}$ $E(X_i)=\mu$ $\forall\varepsilon>0$ 有
$\begin{matrix} lim_{N \to \infty} P (| \frac{1}{n} \sum_{i = 1}^{n} X_{i} - μ | ⩾ ε) = 0 \\ lim_{N \to \infty} P (| \frac{1}{n} \sum_{i = 1}^{n} X_{i} - μ | < ε) = 1 \end{matrix}$
大数定律的一般形式
$\{X_n\}$ $\lim_{n\to\infin}P(|\frac 1n\sum_{i=1}^n X_i-\frac 1n\sum_{i=1}^n E(X_i)|<\varepsilon)=1$ $\{X_n\}$ 服从大数定律
马尔科夫大数定律
$\{X_n\}$ $\lim_{n\to\infin}\frac{1}{n^2}D(\sum_{i=1}^n X_i)=0$ $\{X_n\}$ 服从大数定律

5.2 中心极限定理

5.2.1 背景

现实中很多数量指标都服从或近似服从正态分布

$Z=X_1+X_2+\cdots+X_n$

$n\to\infin$ $Z_n=\sum_{i=1}^n X_i$ 的极限分布为正态分布

$Z_n=\frac{\sum_{k=1}^nX_k-\sum_{k=1}^n\mu_k}{\sqrt{\sum_{k=1}^n\sigma_k^2}}$ 是否服从标准正态分布

按分布收敛
$\{F_n(x)\}$ $F(x)$ $\lim_{n\to\infin}F_n(x)=F(x)$ $\{F_n(x)\}$ $F(x)$ $F_n(x)\xrightarrow{w}F(x)$ $X_n\xrightarrow{L}X$ 按分布收敛
依概率收敛于按分布收敛的关系：
- $X_n\xrightarrow{P}X\Rightarrow X_n\xrightarrow{L}X$
- $X_n\xrightarrow{P}a\Leftrightarrow X_n\xrightarrow{L}a$

5.2.2 中心极限定理

定义
$Z_n$ $F_n(x)$ $x$ 满足
$lim_{n \to \infty} F_{n} (x) = lim_{n \to \infty} P (\frac{\sum_{k = 1}^{n} X_{k} - \sum_{k = 1}^{n} μ_{k}}{\sqrt{\sum_{k = 1}^{n} σ_{k}^{2}}} ⩽ x) = \int_{- \infty}^{x} \frac{1}{\sqrt{2 π}} e^{- \frac{t^{2}}{2}} d t = Φ (x)$
$\{X_n\}$ 服从中心极限定理
- $Z_n$ 依分布收敛于标准正态分布
独立同分布的中心极限定理（林德伯格-列维中心极限定理）
$\{X_n\}$ $E(X_k)=\mu, D(X_k)=\sigma^2>0\ (k=1, 2, \dots)$ $\{X_n\}$ $Z_n=\frac{\sum_{k=1}^n X_k-n\mu}{\sqrt n \sigma}$ $\sum_{k=1}^n$ $N(n\mu, n\sigma^2)$
棣莫弗-拉普拉斯中心极限定理
$\{\eta_n\}$ $B(n, p)$ $\forall x$ ，
$lim_{n \to \infty} P (\frac{η_{n} - n p}{\sqrt{n p (1 - p)}} ⩽ x) = \int_{- \infty}^{x} \frac{1}{\sqrt{2 π}} e^{- \frac{t^{2}}{2}} d t = Φ (x)$
$\eta_n$ $N(np, p(1-p))$
例：某单位电话交换机有 500 部电话，在所有通话中有 96% 的通话是在各分机内进行的。假定每部分机是否需要打外线是相互独立的，问要配备多少条外线才能以 95% 的概率保证每个分机要用外线时不必等候？
解：
$X_k=\begin{cases}1 & 第 k 台分机要用外线\\0 & 其他 \end{cases}$
$X_1, X_2, \dots, X_{500}$ $P(X_k=0)=1-p=0.96, P(X_k=1)=p=0.04$
$\therefore E(X_k)=0.04, D(X_k)=0.0384$
$\sum_{k=1}^{500}X_k$ $N(20, 19.2)$
$N$ $P(\sum_{k=1}^n X_k\leqslant N)\geqslant 0.95$
$Z_n=\sum_{k=1}^n X_k$ $P(Z\leqslant N)=P(\frac{Z-20}{\sqrt{19.2}}\leqslant \frac{N-20}{\sqrt{19.2}})\geqslant 0.95$
$\therefore \Phi(\frac{N-20}{\sqrt{19.2}})\geqslant 0.95$ $\Phi(1.65)=0.95$
$\therefore \frac{N-20}{\sqrt{19.2}}\geqslant 1.65\Rightarrow N\geqslant 27.23$
$\therefore$ 至少应该配备 28 条外线

5.3 第五章习题

$\{X_n\}$ $P(X_n=\frac{2^k}{k^2})=\frac{1}{2^k}, k=1, 2, \dots$ $\{X_n\}$ 是否服从大数定律
解：
$E(X_n)=\sum_{k=1}^\infin\frac{2^k}{k^2}\cdot \frac{1}{2^k}=\frac{\pi^2}{6}<\infin$
$\therefore E(X_n)$ $\{X_n\}$ 服从大数定律
每袋味精的净重为随机变量，平均重量为 100g，标准差为 10g，一箱内装有 200 袋味精，求一箱味精的净重大于 20500g 的概率
解：
$i$ $X_i$ $X_i$ $E(X_1)=100, D(X_i)=100$
$Z=\sum_{i=1}^{200}X_i$ $N(20000, 20000)$
$\therefore P(Z>20500)=1-P(Z\leqslant 20500)=1-P(\frac{Z-20000}{100\sqrt 2}\leqslant \frac{20500-20000}{100\sqrt 2})=1-\Phi(3.54)=0.0002$
因此，一箱味精的净重大于 20500g 的概率为 0.0002

概率论与数理统计 Probability and Statistics

前言 Preface

第一章 概率

1.2 样本空间

1.2.1 试验

1.2.2 样本空间 Ω\Omega

1.2.3 几种特殊事件

1.2.4 事件之间的关系及运算

1.2.4.1 事件之间的关系

1.2.4.2 运算律

1.3 概率测度

1.3.1 频率

1.3.2 概率

1.4 概率计算

1.4.1 古典概型

1.4.2 几何概型

1.4.3 习题

1.5 条件概率

1.6 独立性

第二章 随机变量

2.1 离散随机变量

2.1.1 概率质量函数 PMF

2.1.2 累积分布函数 CDF

2.1.3 离散随机变量的分布

2.2 连续随机变量

2.2.1 概率密度函数 PDF

2.2.2 连续随机变量的分布

2.3 随机变量的函数

2.3.1 离散随机变量函数的频率函数

2.3.2 连续型随机变量函数的分布

2.4 第二章习题

第三章 联合分布

3.1 联合累积分布函数

3.2 二维离散型随机变量

3.2.1 联合频率函数

3.2.2 边际分布

3.3 二维连续型随机变量

3.3.1 联合概率密度函数

3.3.2 二维连续变量的边际密度函数

3.3.3 二维正态分布

3.4 独立随机变量

3.5 条件分布

3.5.1 条件频率函数

3.5.2 条件概率密度

3.5.3 例题

3.6 联合分布随机变量函数

3.6.1 连续型 Z=X+YZ=X+Y

3.6.2 离散型 Z=X+YZ=X+Y

3.6.3 Z=XYZ=\frac XY 的分布

3.6.4 两个随机变量变换的分布

3.6.5 随机变量的其他函数

3.7 极值和顺序统计量

3.7.1 极值 max(X,Y)\max(X, Y) 和 min(X,Y)\min(X, Y) 的分布

3.7.2 顺序统计量 X(k)X_{(k)} 的分布

3.8 第三章习题

第四章 随机变量的数字特征

4.1 随机变量的期望

4.1.1 离散型随机变量的期望

4.1.2 连续型随机变量的期望

4.1.3 随机变量函数的期望

4.1.4 数学期望的基本性质

4.2 方差与标准差

4.3 协方差与相关系数

4.3.1 协方差

4.3.2 相关系数

4.3.3 矩

4.3.4 协方差矩阵

4.4 条件期望

4.5 第四章习题

第五章 大数定律和中心极限定理

5.1 大数定律

5.1.1 背景

5.1.2 大数定律

5.2 中心极限定理

5.2.1 背景

5.2.2 中心极限定理

5.3 第五章习题

第六章 数理统计的基本概念与抽样分布

6.2 数理统计的基本概念

第一章概率

$\Omega$

第二章随机变量

第三章联合分布

$Z=X+Y$

$Z=X+Y$

$Z=\frac XY$ 的分布

$\max(X, Y)$ $\min(X, Y)$ 的分布

$X_{(k)}$ 的分布

第四章随机变量的数字特征

第五章大数定律和中心极限定理

第六章数理统计的基本概念与抽样分布